關於批量資料更新的問題(C#高效能)

當你大量操作資料的時候，常常會使用到update table1 from table2）的這種方式。這種方式是最簡潔的。

但當你從excel或者ＣＳＶ檔案更新海量資料時，再使用這種方法，那效能是不是好，字串拼接又何其之多，大資料是不是需要分組更新？

我不想去檢測各種方法的速度，因為我個人比較認可以下方式，歡迎大家批評與指正。

我需要使用到的類主要是SqlCommandBuilder。

 

/// <param name="table">準備更新的DataTable新資料</param>    /// <param name="TableName">對應要更新的資料庫表名</param>    /// <param name="primaryKeyName">對應要更新的資料庫表的主鍵名</param>    /// <param name="columnsName">對應要更新的列的列名集合</param>    /// <param name="limitColumns">需要在ＳＱＬ的ＷＨＥＲＥ條件中限定的條件字串，可為空白。</param>    /// <param name="onceUpdateNumber">每次往返處理的行數</param>    /// <returns>返回更新的行數</returns>    public static int Update(DataTable table, string TableName, string primaryKeyName, string[] columnsName, string limitWhere,int onceUpdateNumber)    {        if (string.IsNullOrEmpty(TableName)) return 0;        if (string.IsNullOrEmpty(primaryKeyName)) return 0;        if (columnsName == null || columnsName.Length <= 0) return 0;        DataSet ds = new DataSet();        ds.Tables.Add(table);        int result = 0;        using (SqlConnection sqlconn = new SqlConnection(SqlHelper.ConnString))        {            sqlconn.Open();            //使用加強讀寫鎖事務               SqlTransaction tran = sqlconn.BeginTransaction(IsolationLevel.ReadCommitted);            try            {                foreach (DataRow dr in ds.Tables[0].Rows)                {                    //所有行設為修改狀態                       dr.SetModified();                }                //為Adapter定位目標表                   SqlCommand cmd = new SqlCommand(string.Format("select * from {0} where {1}", TableName,limitWhere), sqlconn, tran);                SqlDataAdapter da = new SqlDataAdapter(cmd);                SqlCommandBuilder sqlCmdBuilder = new SqlCommandBuilder(da);                da.AcceptChangesDuringUpdate = false;                string columnsUpdateSql = "";                SqlParameter[] paras = new SqlParameter[columnsName.Length];                //需要更新的列設定參數是,參數名為"@+列名"                for (int i = 0; i < columnsName.Length; i++)                {                    //此處拼接要更新的列名及其參數值                    columnsUpdateSql += ("[" + columnsName[i] + "]" + "=@" + columnsName[i] + ",");                    paras[i] = new SqlParameter("@" + columnsName[i], columnsName[i]);                }                if (!string.IsNullOrEmpty(columnsUpdateSql))                {                    //此處去掉拼接處最後一個","                    columnsUpdateSql = columnsUpdateSql.Remove(columnsUpdateSql.Length - 1);                }                //此處產生where條件陳述式                string limitSql = ("[" + primaryKeyName + "]" + "=@" + primaryKeyName);                SqlCommand updateCmd = new SqlCommand(string.Format(" UPDATE [{0}] SET {1} WHERE {2} ", TableName, columnsUpdateSql, limitSql));                //不修改源DataTable                   updateCmd.UpdatedRowSource = UpdateRowSource.None;                da.UpdateCommand = updateCmd;                da.UpdateCommand.Parameters.AddRange(paras);                da.UpdateCommand.Parameters.Add("@" + primaryKeyName, primaryKeyName);                //每次往返處理的行數                da.UpdateBatchSize = onceUpdateNumber;                result = da.Update(ds,TableName);                ds.AcceptChanges();                tran.Commit();            }            catch            {                tran.Rollback();            }            finally            {                sqlconn.Dispose();                sqlconn.Close();            }        }        return result;    }

 註： 此方法調用時要傳入的參數，包括主鍵名和列名都應與資料庫實際的名稱相對應.
你可以不傳入限定的where條件，如果傳入，只需傳入：Ｎame="chamy" or Name="jundy",不需加入“where”等字元，不可以在此處傳入主鍵的限定。你只需要在主鍵名這個參數上傳入名稱即可。