昨天在測試一段批量插入記錄的資料庫操作時,發現開啟事務與否對效能影響很大,根據當時的環境,測試有6倍差距.
分別測試插入500條/5000條/50000條,
開啟事務時分別為480毫秒/4546毫秒/47407毫秒
不開事務時分別為3100毫秒/30859毫秒/308802毫秒
這是什麼原因呢?仔細分析一下,這個應該跟SqlServer的後台記憶體管理和資料存取機制相關。
當我們提交資料到伺服器時,SqlServer會按如下順序進行操作:
1)複製資料到記憶體;2)書寫動作記錄;3)儲存資料到磁碟資料檔案中。
這三步操作中,1和2的效率都比較高(記憶體書寫自不必說,日誌書寫是順序書寫,不需要複雜校正,故也比較快),
但第三步寫入磁碟資料檔案的操作就非常耗時間了。(需要驗證,更新索引等)
OK,我們來解釋一下兩種情況的差別:
1、當我們在未開啟事務的情況下執行一條(僅一次插入)插入語句時,預設SqlServer會對該語句開啟事務。
在語句結束後,會進行一次自動地Commit操作把資料重新整理到磁碟資料檔案中。
如果我們迴圈多次,就會佔用更多系統時間。
2、在開啟事務的情況下,我們只有最後一次Commit操作,並且一旦書寫動作記錄成功,系統就會報告提交成功。(其實此時後台還正在往磁碟資料檔案中重新整理資料)。
總結:因為重新整理磁碟資料檔案是序列化的,因此應該減少Commit的次數,而開啟事務是比較好的選擇。否則預設事務就要不停的Commit,佔用我們寶貴的時間資源。
附測試代碼:
static void TestBatchInsert()
{
using (IConnectionHelper ch = new ConnectionHelper())
{
long t = DateTime.Now.Ticks;
try
{
ch.BeginTransaction();
for (int i = 0; i < 5000; i++)
{
XML_COMPANYEntity ce = new XML_COMPANYEntity();
ce.SetNextMaxValue(ch);
ce.XCM_NAME = "Eric.Zhang" + i.ToString();
ce.XCM_ADDRESS = "HangZhou" + i.ToString();
ce.InsertEntity(ch);
}
ch.CommitTransaction();
}
catch
{
ch.RollbackTransaction();
throw;
}
TimeSpan ts = new TimeSpan(DateTime.Now.Ticks - t);
Console.WriteLine(ts.TotalMilliseconds);
}
}