将CSV文件导入到SQL Server中
我正在寻找帮助使用BULK INSERT将.csv文件导入到SQL Server中，并且我有几个基本问题。
问题：
-
CSV文件数据之间可能有（逗号）（例如：说明），那么如何使导入处理这些数据？
-
如果客户端从Excel创buildCSV，那么带有逗号的数据将被包含在
""（双引号）内[如下例所示]，那么导入如何处理呢？ -
我们如何跟踪一些行是否有错误的数据，导入跳过？ （导入是否跳过不可导入的行）
以下是带标题的示例CSV：
Name,Class,Subject,ExamDate,Mark,Description Prabhat,4,Math,2/10/2013,25,Test data for prabhat. Murari,5,Science,2/11/2013,24,"Test data for his's test, where we can test 2nd ROW, Test." sanjay,4,Science,,25,Test Only.
和SQL语句导入：
BULK INSERT SchoolsTemp FROM 'C:\CSVData\Schools.csv' WITH ( FIRSTROW = 2, FIELDTERMINATOR = ',', --CSV field delimiter ROWTERMINATOR = '\n', --Use to shift the control to next row TABLOCK )
基于SQL Server CSV导入
1）CSV文件数据之间可能有（逗号）（例：说明），那么如何使导入处理这些数据？
解
如果您使用（逗号）作为分隔符，则无法区分作为字段终止符的逗号和数据中的逗号。 我会使用像||这样的不同的FIELDTERMINATOR 。 代码看起来像，这将完美处理逗号和单斜杠。
2）如果客户端从excel创buildcsv，那么包含逗号的数据将被包含在
" ... "（双引号）内[如下例所示]，那么导入如何处理呢？
解
如果您使用BULK插入，则无法处理双引号，数据将使用双引号插入到行中。 在将数据插入表格之后，您可以将这些双引号replace为“ ”。
update table set columnhavingdoublequotes = replace(columnhavingdoublequotes,'"','')
3）我们如何跟踪一些行是否有错误的数据，导入跳过？ （导入是否跳过不可导入的行）？
解
要处理由于数据或格式无效而未载入表的行，可以使用ERRORFILE属性进行处理，指定错误文件名，将错误文件写入有错误的行。 代码应该看起来像。
BULK INSERT SchoolsTemp FROM 'C:\CSVData\Schools.csv' WITH ( FIRSTROW = 2, FIELDTERMINATOR = ',', --CSV field delimiter ROWTERMINATOR = '\n', --Use to shift the control to next row ERRORFILE = 'C:\CSVDATA\SchoolsErrorRows.csv', TABLOCK )
解决数据问题中逗号问题的最佳，最快和最简单的方法是在将Windows列表分隔符设置为逗号（例如pipe道）之外的其他设置后，使用Excel保存逗号分隔的文件。 然后这将生成一个pipe道（或别的）分开的文件给你，然后你可以导入。 这在这里描述。
冷杉你需要导入CSV文件到数据表中
然后，您可以使用SQLBulkCopy插入批量行
using System; using System.Data; using System.Data.SqlClient; namespace SqlBulkInsertExample { class Program { static void Main(string[] args) { DataTable prodSalesData = new DataTable("ProductSalesData"); // Create Column 1: SaleDate DataColumn dateColumn = new DataColumn(); dateColumn.DataType = Type.GetType("System.DateTime"); dateColumn.ColumnName = "SaleDate"; // Create Column 2: ProductName DataColumn productNameColumn = new DataColumn(); productNameColumn.ColumnName = "ProductName"; // Create Column 3: TotalSales DataColumn totalSalesColumn = new DataColumn(); totalSalesColumn.DataType = Type.GetType("System.Int32"); totalSalesColumn.ColumnName = "TotalSales"; // Add the columns to the ProductSalesData DataTable prodSalesData.Columns.Add(dateColumn); prodSalesData.Columns.Add(productNameColumn); prodSalesData.Columns.Add(totalSalesColumn); // Let's populate the datatable with our stats. // You can add as many rows as you want here! // Create a new row DataRow dailyProductSalesRow = prodSalesData.NewRow(); dailyProductSalesRow["SaleDate"] = DateTime.Now.Date; dailyProductSalesRow["ProductName"] = "Nike"; dailyProductSalesRow["TotalSales"] = 10; // Add the row to the ProductSalesData DataTable prodSalesData.Rows.Add(dailyProductSalesRow); // Copy the DataTable to SQL Server using SqlBulkCopy using (SqlConnection dbConnection = new SqlConnection("Data Source=ProductHost;Initial Catalog=dbProduct;Integrated Security=SSPI;Connection Timeout=60;Min Pool Size=2;Max Pool Size=20;")) { dbConnection.Open(); using (SqlBulkCopy s = new SqlBulkCopy(dbConnection)) { s.DestinationTableName = prodSalesData.TableName; foreach (var column in prodSalesData.Columns) s.ColumnMappings.Add(column.ToString(), column.ToString()); s.WriteToServer(prodSalesData); } } } } }
以下是我将如何解决它：
-
在excel中保存你的CSV文件作为XLS表格（通过这样做，你不必担心分隔符，Excel的电子表格格式将被作为表格读取并直接导入到SQL表格中）
-
使用SSIS导入文件
-
在导入pipe理器中写一个自定义脚本来省略/修改你正在查找的数据（或者运行一个主脚本来仔细检查你要删除的数据）
祝你好运。
通过SQL Server Management Studio将CSV文件导入数据库。
- 首先，在数据库中创build一个表格，将CSV文件导入到该表格中。
- 使用SQL Server Management Studiologin到数据库。
- 右键单击数据库并select任务 – >导入数据…
- 点击下一步>button。
- 对于数据源，请select平面文件源。 然后使用浏览buttonselectCSV文件。 花点时间configuration数据导入，然后点击Next>button。
- 对于目标，请select正确的数据库提供程序（例如对于SQL Server 2012，可以使用SQL Server Native Client 11.0）。 input服务器名称; 选中使用SQL Server身份validation，在单击下一步>button之前，input用户名，密码和数据库。
- 在“select源表格和视图”窗口中，单击“下一步>”button之前，可以编辑映射。
- 选中立即运行并单击下一步>button。
- 点击完成button运行包。
参考
