.NET批量大資料插入效能分析及比較(5.使用SqlBulkCopy)

#region 使用SqlBulkCopy<br /> public static bool ExecuteTransactionScopeInsert(DataTable dt, int batchSize)<br /> {<br /> int count = dt.Rows.Count;<br /> string tableName = "TestTable";<br /> int copyTimeout = 600;<br /> bool flag = false;<br /> try<br /> {<br /> using (SqlConnection cn = new SqlConnection(connectionString))<br /> {<br /> using (TransactionScope scope = new TransactionScope())<br /> {<br /> cn.Open();<br /> using (SqlBulkCopy sbc = new SqlBulkCopy(cn))<br /> {<br /> //伺服器上目標表的名稱<br /> sbc.DestinationTableName = tableName;<br /> sbc.BatchSize = batchSize;<br /> sbc.BulkCopyTimeout = copyTimeout;<br /> for (int i = 0; i < dt.Columns.Count; i++)<br /> {<br /> //列映射定義資料來源中的列和目標表中的列之間的關係<br /> sbc.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName);<br /> }<br /> sbc.WriteToServer(dt);<br /> flag = true;<br /> scope.Complete();//有效事務<br /> }<br /> }<br /> }<br /> }<br /> catch (Exception ex)<br /> {<br /> LogHelper.Error(ex.Message);<br /> return false;<br /> }<br /> return flag;<br /> }<br /> #endregion

 

結果如下:

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:10;Time:10314;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:20;Time:4476;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:50;Time:2021;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:100;Time:1332;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:200;Time:978;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:400;Time:730;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:500;Time:649;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:600;Time:623;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:700;Time:669;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:800;Time:585;

Use SqlServer TransactionScope Insert;RecordCount:40000;BatchSize:1000;Time:681;

 

SqlBulkCopy原理是採用了SQL Server的BCP協議進行資料的批量複製，結合使用事務，就我們的案例而言，大約每批800條是平衡點，效能比逐條插入提高了100多倍，並前面同樣使用事務批量插入的案例效能提升了7倍以上。

 

全文連結:

.NET批量大資料插入效能分析及比較(1.準備工作)

.NET批量大資料插入效能分析及比較(2.普通插入與拼接sql批量插入)

.NET批量大資料插入效能分析及比較(3.使用事務)

.NET批量大資料插入效能分析及比較(4.使用DataAdapter批量插入)

.NET批量大資料插入效能分析及比較(5.使用SqlBulkCopy)

.NET批量大資料插入效能分析及比較(6.使用表值參數)