海量資料插入資料庫效率對比測試，海量對比測試

海量資料插入資料庫效率對比測試，海量對比測試

摘要：使用.NET相關技術向資料庫中插入海量資料是常用操作。本文對比ADO.NET和LINQ兩種技術，分別使用SqlBulkCopy()和InsertAllOnSubmit()方法進行操作。得出結論：相同插入工作量（1w條資料）插入效率相差200倍之巨！

 

測試情境：

準備兩個資料庫TestDb和TestDb2，有表：T_Users。表結構如所示：

SqlBulkCopy()插入方法如下：

private static Stopwatch InsertUsingSqlBulkCopy(List<UserInMemory> list)        {            Stopwatch stopWatch = new Stopwatch();            stopWatch.Start();            DataTable dt = new DataTable();            dt.Columns.Add("ID");            dt.Columns.Add("UserName");            for (int i = 0; i < list.Count; i++)            {                DataRow row = dt.NewRow();                row["ID"] = list[i].ID;                row["UserName"] = list[i].UserName;                dt.Rows.Add(row);            }            using (SqlConnection con = new SqlConnection(connStr2))            {                con.Open();                using (SqlBulkCopy bulkCopy = new SqlBulkCopy(con))                {                    try                    {                        bulkCopy.DestinationTableName = "dbo.T_UserName";                        bulkCopy.ColumnMappings.Add("ID", "ID");                        bulkCopy.ColumnMappings.Add("UserName", "UserName");                        bulkCopy.WriteToServer(dt);                    }                    catch (Exception ex)                    {                        Console.WriteLine(ex.ToString());                    }                    finally { con.Close(); }                }            }            stopWatch.Stop();            return stopWatch;        }

LINQ插入方法如下所示：

private static Stopwatch InsertUsingLINQ(List<T_User> _list)        {            Stopwatch stopWatch = new Stopwatch();            stopWatch.Start();            DataClasses1DataContext dataContext = new DataClasses1DataContext();            dataContext.T_Users.InsertAllOnSubmit(_list);            dataContext.SubmitChanges();            stopWatch.Stop();            return stopWatch;        }

使用上述代碼分別匯入1萬條User資料進入資料庫。

得到結果如所示：

相同插入工作量（1w條資料）前提下，結論：

1 ADO.NET下SqlBulkCopy()方法是LINQ TO SQL下InsertAllOnSubmit()方法插入效率相差266倍之巨！

2  LINQ使用便捷、代碼簡短、學習成本低，語言表達優雅；但是，如果對效率要求較高的海量資料相關操作優先推薦使用ADO.NET方法。

相關源碼：http://download.csdn.net/detail/fanrong1985/8130953

海量資料分析匯總，怎提示效率？

你這個稱不上海量資料，之前我看過一個跨國企業採用的是預先處理的方式，就是在客戶設定好時間段，指定時間得到想要的資料，系統一般提前三個小時運行，那資料驚人。

BI 裡面基本採用資料壓縮的方式，分區間，分表，重彙總等方式。
例如銷售日誌--》壓縮成一天內某商品的銷售記錄。
這樣一萬單品一天也就一萬的行集。全年最大也就 366萬左右，這對資料庫來說也就 5秒的事情。

所以壓縮成查詢的最小計量單位，彙總成最大的資料輸出，這就是原則。

至於緩衝，資料切入都是資料加工後才能用的方式。

本質，就是專門做表，專門針對分析。
 
資料庫插入效率問題

一次性全部插入速度快，最好是產生成檔案，然後以檔案形式匯入，而以單挑記錄插入，資料庫每插入一條都要執行文法解析、產生執行計畫、執行語句等過程，所以效率很低，小資料量不明顯，大資料量就非常明顯了。