c#中往mysql裡批量插入上萬條資料 zt

來源:互聯網
上載者:User

在csdn詢問,http://bbs.csdn.net/topics/390357952?page=1#post-393577221,綜合採納了各位大俠的意見,反正最後我在本機上插入1--5萬條資料的時候,好像沒感覺到佔用什麼時間。

我使用了mysql的批量資料格式,

比如
INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...) 
VALUES(NUM11,NUM12,NUM13,...), 
(NUM21,NUM22,NUM23,...),
....
(NUMn1,NUMn2,NUMn3,..);

我在前文中敘述的,每個賬戶的每個採集點就會產生幾百個資料,這幾百個資料我組合成上述一條語句,20多個賬戶多個採集點我一共產生上述語句300--800多條,每條的資料項目300-500個,所以每次插入的資料共計10000--50000條。

我把每條insert語句都儲存在一個SQLStringList之中,又
在網上找點資料,採用了交易處理方式,本來我的事務方式是所有sql語句放在一個事務裡,但有熱心朋友告知“每當執行1000條DBCommand就提交
(Commit)事務,然後再次開啟事務,這樣比較好。把過多的命令放在一個事務中,一旦超過實體記憶體分配限制,你的程式會變得很慢很慢。”

所以我後來修改了一下,每500條語句重啟一次事務。c#代碼如下:

[csharp] view plaincopy
    1. /// <summary>  
    2.         /// 執行多條SQL語句,實現資料庫事務。  
    3.         /// </summary>mysql資料庫  
    4.         /// <param name="SQLStringList">多條SQL語句</param>  
    5.         public static void ExecuteSqlTran(List<string> SQLStringList)  
    6.         {  
    7.             using (MySqlConnection conn = new MySqlConnection(MySqlHelper.ConnStr))  
    8.             {  
    9.                 conn.Open();  
    10.                 MySqlCommand cmd = new MySqlCommand();  
    11.                 cmd.Connection = conn;  
    12.                 MySqlTransaction tx = conn.BeginTransaction();  
    13.                 cmd.Transaction = tx;  
    14.                 try  
    15.                 {  
    16.                     for (int n = 0; n < SQLStringList.Count; n++)  
    17.                     {  
    18.                         string strsql = SQLStringList[n].ToString();  
    19.                         if (strsql.Trim().Length > 1)  
    20.                         {  
    21.                             cmd.CommandText = strsql;  
    22.                             cmd.ExecuteNonQuery();  
    23.                         }  
    24.                        //後來加上的  
    25.                        if (n > 0 && (n % 500 == 0 || n == SQLStringList.Count - 1))  
    26.                         {  
    27.                             tx.Commit();  
    28.                             tx = conn.BeginTransaction();  
    29.                         }  
    30.                     }  
    31.                     //tx.Commit();//原來一次性提交  
    32.                 }  
    33.                 catch (System.Data.SqlClient.SqlException E)  
    34.                 {  
    35.                     tx.Rollback();  
    36.                     throw new Exception(E.Message);  
    37.                 }  
    38.             }  
    39.         } 
相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.