【MySql 大資料量快速插入和語句最佳化】

來源:互聯網
上載者:User

標籤:java   java學習   java面試題   

INSERT語句的速度

插入一個記錄需要的時間由下列因素組成,其中的數字表示大約比例:串連:(3)發送查詢給伺服器:(2)分析查詢:(2)插入記錄:(1x記錄大小)插入索引:(1x索引)關閉:(1)這不考慮開啟表的初始開銷,每個並發啟動並執行查詢開啟。

表的大小以logN (B樹)的速度減慢索引的插入。

加快插入的一些方法:

· 如果同時從同一個用戶端插入很多行,使用含多個VALUE的INSERT語句同時插入幾行。這比使用單行INSERT語句快(在某些情況下快幾倍)。如果你正向一個非空表添加資料,可以調節bulk_insert_buffer_size變數,使資料插入更快。參見5.3.3節,“伺服器系統變數”。

· 如果你從不同的用戶端插入很多行,能通過INSERT DELAYED語句加快速度。參見13.2.4節,“INSERT文法”。

· 用MyISAM,如果在表中沒有刪除的行,能在SELECT語句正在啟動並執行同時插入行。

· 當從一個文字檔裝載一個表時,使用LOAD DATA INFILE。這通常比使用很多INSERT語句快20倍。參見13.2.5節,“LOAD DATA INFILE文法”。

· 當表有很多索引時,有可能要多做些工作使得LOAD DATA INFILE更快些。使用下列過程:

有選擇地用CREATE TABLE建立表。執行FLUSH TABLES語句或命令mysqladmin flush-tables。使用myisamchk --keys-used=0 -rq /path/to/db/tbl_name。這將從表中取消所有索引的使用。用LOAD DATA INFILE把資料插入到表中,因為不更新任何索引,因此很快。如果只想在以後讀取表,使用myisampack壓縮它。參見15.1.3.3節,“壓縮表特性”。用myisamchk -r -q /path/to/db/tbl_name重新建立索引。這將在寫入磁碟前在記憶體中建立索引樹,並且它更快,因為避免了大量磁碟搜尋。結果索引樹也被完美地平衡。執行FLUSH TABLES語句或mysqladmin flush-tables命令。請注意如果插入一個空MyISAM表,LOAD DATA INFILE也可以執行前面的最佳化;主要不同處是可以讓myisamchk為建立索引分配更多的臨時記憶體,比執行LOAD DATA INFILE語句時為伺服器重新建立索引分配得要多。

也可以使用ALTER TABLE tbl_name DISABLE KEYS代替myisamchk --keys-used=0 -rq/path/to/db/tbl_name,使用ALTER TABLE tbl_name ENABLE KEYS代替myisamchk -r -q/path/to/db/tbl_name。使用這種方式,還可以跳過FLUSH TABLES。

· 鎖定表可以加速用多個語句執行的INSERT操作:

LOCK TABLES a WRITE;INSERT INTO a VALUES (1,23),(2,34),(4,33);INSERT INTO a VALUES (8,26),(6,29);UNLOCK TABLES;這樣效能會提高,因為索引緩衝區僅在所有INSERT陳述式完成後重新整理到磁碟上一次。一般有多少INSERT語句即有多少索引緩衝區重新整理。如果能用一個語句插入所有的行,就不需要鎖定。

對於事務表,應使用BEGIN和COMMIT代替LOCK TABLES來加快插入。

鎖定也將降低多串連測試的整體時間,儘管因為它們等候鎖定最大等待時間將上升。例如:

Connection 1 does 1000 inserts

Connections 2, 3, and 4 do 1 insert

Connection 5 does 1000 inserts

如果不使用鎖定,2、3和4將在1和5前完成。如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時間應該快大約40%。

INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多於大約5次連續不斷地插入或更新的操作加鎖,可以獲得更好的整體效能。如果在一行中進行多次插入,可以執行LOCK TABLES,隨後立即執行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表。這也會獲得好的效能。

INSERT裝載資料比LOAD DATA INFILE要慢得多,即使是使用上述的策略。

· 為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統變數來擴大 鍵高速緩衝區。參見7.5.2節,“調節伺服器參數”。

INSERT文法

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE][INTO] tbl_name [(col_name,...)]VALUES ({expr | DEFAULT},...),(...),...[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]或:

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE][INTO] tbl_nameSET col_name={expr | DEFAULT}, ...[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]或:

INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE][INTO] tbl_name [(col_name,...)]SELECT ...[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

一、DELAYED 的使用

使用延遲插入操作DELAYED調節符應用於INSERT和REPLACE語句。當DELAYED插入操作到達的時候,

伺服器把資料行放入一個隊列中,並立即給用戶端返回一個狀態資訊,這樣客戶

端就可以在資料表被真正地插入記錄之前繼續進行操作了。如果讀取者從該資料

表中讀取資料,隊列中的資料就會被保持著,直到沒有讀取者為止。接著伺服器

開始插入延遲資料行(delayed-row)隊列中的資料行。在插入操作的同時,伺服器

還要檢查是否有新的讀取請求到達和等待。如果有,延遲資料行隊列就被掛起,

允許讀取者繼續操作。當沒有讀取者的時候,伺服器再次開始插入延遲的資料行。

這個過程一直進行,直到隊列空了為止。幾點要注意事項:

· INSERT DELAYED應該僅用於指定值清單的INSERT語句。伺服器忽略用於INSERT DELAYED...SELECT語句的DELAYED。

· 伺服器忽略用於INSERT DELAYED...ON DUPLICATE UPDATE語句的DELAYED。

· 因為在行被插入前,語句立刻返回,所以您不能使用LAST_INSERT_ID()來擷取AUTO_INCREMENT值。AUTO_INCREMENT值可能由語句產生。

· 對於SELECT語句,DELAYED行不可見,直到這些行確實被插入了為止。

· DELAYED在從屬複製伺服器中被忽略了,因為DELAYED不會在從屬伺服器中產生與主伺服器不一樣的資料。注意,目前在隊列中的各行只儲存在儲存空間中,直到它們被插入到表中為止。這意味著,如果您強行中止了mysqld(例如,使用kill -9)

或者如果mysqld意外停止,則所有沒有被寫入磁碟的行都會丟失。

二、IGNORE的使用IGNORE是MySQL相對於標準SQL的擴充。如果在新表中有重複關鍵字,

或者當STRICT模式啟動後出現警告,則使用IGNORE控制ALTER TABLE的運行。

如果沒有指定IGNORE,當重複關鍵字錯誤發生時,複製操作被放棄,返回前一步驟。

如果指定了IGNORE,則對於有重複關鍵字的行,只使用第一行,其它有衝突的行被刪除。

並且,對錯誤值進行修正,使之盡量接近正確值。insert ignore into tb(...) value(...)這樣不用校正是否存在了,有則忽略,無則添加三、ON DUPLICATE KEY UPDATE的使用如果您指定了ON DUPLICATE KEY UPDATE,並且插入行後會導致在一個UNIQUE索引或PRIMARY KEY中出現重複值,則執行舊行UPDATE。例如,如果列a被定義為UNIQUE,並且包含值1,則以下兩個語句具有相同的效果:

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

-> ON DUPLICATE KEY UPDATE c=c+1;

mysql> UPDATE table SET c=c+1 WHERE a=1;

如果行作為新記錄被插入,則受影響行的值為1;如果原有的記錄被更新,則受影響行的值為2。

注釋:如果列b也是唯一列,則INSERT與此UPDATE語句相當:

mysql> UPDATE table SET c=c+1 WHERE a=1 OR b=2 LIMIT 1;

如果a=1 OR b=2與多個行向匹配,則只有一個行被更新。通常,您應該盡量避免對帶有多個唯一關鍵字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)函數從INSERT…UPDATE語句的INSERT部分引用列值。換句話說,如果沒有發生重複關鍵字衝突,則UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函數特別適用於多行插入。VALUES()函數只在INSERT…UPDATE語句中有意義,其它時候會返回NULL。

樣本:

  1. mysql> INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)

  • -> ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);

  • 本語句與以下兩個語句作用相同:

  • mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

  • -> ON DUPLICATE KEY UPDATE c=3;

  • mysql> INSERT INTO table (a,b,c) VALUES (4,5,6)

  • -> ON DUPLICATE KEY UPDATE c=9;

  • 當您使用ON DUPLICATE KEY UPDATE時,DELAYED選項被忽略。


更多java,java學習,java面試題 http://techfoxbbs.com


【MySql 大資料量快速插入和語句最佳化】

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.