Mysql資料庫百萬級記錄查詢分頁最佳化

標籤：

很多的朋友在面試中會遇到這樣的問題，也有很多的項目在運營一段時間後也會遇到MYSQL查詢中變慢的一些瓶頸，今天這兒簡單的介紹下我常用的幾種查詢分頁的方法，我所知道的也無非就是索引、分表、子查詢位移，所以要是有什麼不對或有更好的方法，歡迎大家留言討論。效率分析關鍵詞：explain + SQL語句一，最常見MYSQL最基本的分頁方式limit：    select * from `table` order by id desc limit 0, 20在中小資料量的情況下，這樣的SQL足夠用了，唯一需要注意的問題就是確保使用了索引。隨著資料量的增加，頁數會越來越多,在資料慢慢增長的過程中，可能就會出現limit 10000,20這樣的情況，limit 10000,20的意思掃描滿足條件的10020行，扔掉前面的10000行，返回最後的20行，問題就在這裡，如果是limit 100000,100，需要掃描100100行，在一個高並發的應用裡，每次查詢需要掃描超過10W行，效能肯定大打折扣。這種方式有幾個不足：較大的位移(OFFSET)會增加結果集，小比例的低效分頁足夠產生磁碟I/O瓶頸，需要掃描的行多。簡單的解決方案:不顯示記錄總數，沒使用者在乎這個數字;不讓使用者訪問頁數比較大的記錄，重新導向他們;避免count(*) ,不顯示總數，讓使用者通過“下一頁”來翻頁 ,緩衝總數;單獨統計總數，在插入和刪除時遞增/遞減二，第二種就是分表，計算HASH值，這兒不做介紹了，我目前也沒有在項目中真正使用過這種方法，還停留在理論層次;三，第三種是位移：    SELECT * FROM `table` WHERE id <= (SELECT id FROM `table` ORDER BY id desc LIMIT ".($page-1)*$pagesize.", 1) ORDER BY id desc LIMIT $pagesize或者    select * FROM `table` AS t1 JOIN (SELECT id FROM `table` ORDER BY id desc LIMIT 900,1) AS t2 WHERE t1.id<=t2.id order by t1.id desc limit 5原理就是記錄住當前頁id的最大值和最小值，計算跳轉頁面和當前頁相對位移，由於頁面相近，這個位移量不會很大，這樣的話m值相對較小，大大減少掃 描的行數。其實傳統的limit m,n，相對的位移一直是第一頁，這樣的話越翻到後面，效率越差，而上面給出的方法就沒有這樣的問題。比如還是SELECT * FROM `table` ORDER BY id DESC，按id降序分頁，每頁20條，當前是第10頁，當前頁條目id最大的是9527，最小的是9500，如果我們只提供”上一頁”、”下一頁”這樣 的跳轉（不提供到第N頁的跳轉），那麼在處理”上一頁”的時候SQL語句可以是：    SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20;處理”下一頁”的時候SQL語句可以是：    SELECT * FROM `table` WHERE id < 9500 ORDER BY id DESC LIMIT 20;不管翻多少頁，每次查詢只掃描20行。缺點是只能提供”上一頁”、”下一頁”的連結形式，但是我一般來說非常喜歡”<上一頁 1 2 3 4 5 6 7 8 9 下一頁>”這樣的連結方式，怎麼辦呢？如果LIMIT m,n不可避免的話，要最佳化效率，只有儘可能的讓m小一下，我們擴充前面做法，還是SELECT * FROM `table` ORDER BY id DESC，按id降序分頁，每頁20條，當前是第10頁，當前頁條目id最大的是9527，最小的是9500，比如要跳到第8頁，我看的SQL語句可以這 樣寫：    SELECT * FROM `table` WHERE id > 9527 ORDER BY id ASC LIMIT 20,20;跳轉到第13頁：    SELECT * FROM `table` WHERE id < 9500 ORDER BY id DESC LIMIT 40,20;注意SQL語句裡面的ASC和DESC，如果是ASC取出來的結果，顯示的時候記得倒置一下。 整體來說在面對百萬級資料的時候如果使用上面第三種方法來最佳化，系統效能上是能夠得到很好的提升，在遇到複雜的查詢時也盡量簡化，減少運算量。 同時也盡量多的使用記憶體緩衝，有條件的可以考慮分表、分庫、陣列之類的大型解決方案了。

 

Mysql資料庫百萬級記錄查詢分頁最佳化