SqlBulkCopy類進行大資料(10000萬條以上)插入測試

標籤：blog   http   使用   os   io   strong   資料   2014   

好多天沒寫部落格了，剛剛畢業一個多月，在IT的路上真是迷茫啊！

關於上一篇部落格中提到的，在進行批量資料插入資料庫的時候可以通過給預存程序傳遞一個類型為Table的參數進行相關操作，在這個過程中本人沒有進行效率的測試。後來尋找發現可以通過SqlBulkCopy類進行大資料插入操作，本文就來介紹一個這個類的作用並做了相關的效率測試(與Insert語句進行對比)。

SqlBulkCopy只能向SqlServer表寫入資料，該表既可以是同一個伺服器上的也可以是遠程伺服器上的。當然要寫入的資料即資料來源不單單是SqlServer，可以是任何資料來源，只要資料可以載入到DataTable中或者DataReader可以讀取的資料。

SqlBulkCopy類批量插入資料代碼如下：

1.先建立一個User類，對應資料庫的User表。

 View Code

資料庫User表結構:

2.建立一個返回儲存了一萬條資料的DataTable方法：

 View Code

3.在頁面上放了一個按鈕，點擊該按鈕便可進行資料的插入操作，按鈕點擊事件代碼如下：

 View Code

SqlServer中通過Insert語句批量插入資料的代碼如下：

1.首先建立一個插入一萬條資料的預存程序，插入的資料與SqlBulkCopy插入的資料一模一樣。

 

 View Code

 

2.執行預存程序。
EXEC dbo.USP_InsertUserTable

SqlBulkCopy與Insert語句效率測試對比如下：

SqlBulkCopy所用時間統計（5次):

SqlServer Insert語句所用時間統計(5次),通過工具--》Sql Server Profiler進行測試，使用的模板是TSQL_Duration:

有一點需要注意的：無論是SqlBulkCopy還是Insert語句進行操作，每次測試前都應該進行緩衝區清理以及刪除原有資料，以免對測試進行影響，代碼如下：

DBCC DROPCLEANBUFFERS
DBCC FREESYSTEMCACHE( ‘ALL‘ ) 
DELETE dbo.[User]

 

結論：通過以上的統計分析測試，可以看出SqlBulkCopy操作大資料插入的效率效能明顯比Insert語句更高效。

本人才疏學淺，哪裡有不對的歡迎指出。