c#通过DataTable插入大量数据，50万数据只需要3秒

小渣渣

数据库sql脚本：

1. CREATE DATABASE TESTDB
   
2. GO
   
3. USE TESTDB
   
4. GO
   
5. 
   
6. CREATE TABLE TAB1
   
7. (
   
8.         NAME NVARCHAR(10),
   
9.         AGE NVARCHAR(10) ,
   
10.         ADRESS NVARCHAR(10)
    
11. )
    
12. delete  TAB1
    
13. 
    
14. SELECT * FROM TAB1
    
15. SELECT COUNT(0) FROM TAB1

复制代码

控制台代码：

1. class Program
   
2.     {
   
3.         static void Main(string[] args)
   
4.         {
   
5.             string conn = "Data Source=.;Initial Catalog=TESTDB;user id=sa;password=123456";
   
6.             DataTable dt = new DataTable();
   
7.             dt.Columns.Add("Name1");
   
8.             dt.Columns.Add("Age");
   
9.             dt.Columns.Add("Adress");
   
10.             for (int i = 0; i < 500000; i++)
    
11.             {
    
12.                 dt.Rows.Add("Name" + i, i, "地址" + i);
    
13.             }
    
14.             DataTableToSQLServer(dt, conn, "TAB1");
    
15.         }
    
16. 
    
17.         public static void DataTableToSQLServer(DataTable dt, string connectionString, string tableName)
    
18.         {
    
19.             System.Diagnostics.Stopwatch stopwatch = new System.Diagnostics.Stopwatch();
    
20.             stopwatch.Start();
    
21.             using (SqlConnection destinationConnection = new SqlConnection(connectionString))
    
22.             {
    
23.                 destinationConnection.Open();
    
24.                 using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnection))
    
25.                 {
    
26.                     try
    
27.                     {
    
28.                         bulkCopy.DestinationTableName = tableName;//要插入的表的表名
    
29.                         bulkCopy.BatchSize = dt.Rows.Count;
    
30.                         bulkCopy.ColumnMappings.Add("Name1", "NAME");//映射字段名 DataTable列名 ,数据库 对应的列名  
    
31.                         bulkCopy.ColumnMappings.Add("Age", "AGE");
    
32.                         bulkCopy.ColumnMappings.Add("Adress", "ADRESS");
    
33.                         bulkCopy.WriteToServer(dt);
    
34.                         Console.WriteLine("插入成功!");
    
35.                     }
    
36.                     catch (Exception ex)
    
37.                     {
    
38.                         Console.WriteLine(ex.Message);
    
39.                     }
    
40.                     finally
    
41.                     {
    
42.                         if (destinationConnection.State == ConnectionState.Open)
    
43.                         {
    
44.                             destinationConnection.Close();
    
45.                         }
    
46.                         stopwatch.Stop();
    
47.                         Console.WriteLine("插入:" + dt.Rows.Count + "数据,耗时" + (stopwatch.ElapsedMilliseconds / 1000).ToString() + "秒");
    
48.                     }
    
49.                 }
    
50.             }
    
51.         }
    
52.     }

复制代码

wangang

不错。。。

zgy0209zgy

不错学习

迷恋自留地

学习学习

小渣渣

MSSQL 使用 nvarchar(max)、varbinary(max) 存储区别
https://www.itsvse.com/thread-10658-1-1.html

小渣渣

需要设置 ColumnMappings 映射字段，否则可能会抛出一些奇怪的异常

小渣渣

.NET/C# 通过 DataTable 动态创建表结构
https://www.itsvse.com/thread-11010-1-1.html

daxuser

学习。。。

小渣渣

增加批次和事务

登录可见。

在使用 BatchSize 时，有一个非常重要的隐藏机制需要注意：每一批（Batch）默认都是独立的事务。
如果你在导入第 12,000 条数据（第三批）时程序突然报错崩溃：
• 前面成功发送的两批（共 10,000 条）已经写入数据库，不会回滚。
• 报错的这一批及后面的数据不会被导入。
如果你希望要么全部成功，要么全部失败（发生错误时整体回滚），你需要配合 SqlTransaction 使用。

小渣渣

ORM 框架 Dapper 简单使用
https://www.itsvse.com/thread-9509-1-1.html