MYSQL分頁limit速度太慢最佳化方法

當一個表資料有幾百萬的資料時，分頁的時候成了問題
如 select * from table limit 0,10 這個沒有問題 當 limit 200000,10 的時候資料讀取就很慢，可以按照一下方法解決

最近一個網站的伺服器評論被人刷死，導致mysql資料庫異常發生too many open connections

引發的SQL語句

代碼如下	複製代碼
SELECT a.uid, a.veil, a.content, a.datetimes, a.audit, b.user_name, b.uc_id FROM news_talkabout a LEFT JOIN users_info b ON a.uid = b.id WHERE infoid =11087 ORDER BY a.id DESC LIMIT 451350 , 30

丟在phpmyadmin裡執行一下，是很慢。
讓人思考是什麼因素

代碼如下	複製代碼
SELECT a.uid, a.veil, a.content, a.datetimes, a.audit, b.user_name, b.uc_id FROM news_talkabout a LEFT JOIN users_info b ON a.uid = b.id WHERE infoid =11087 ORDER BY a.id DESC LIMIT 0 , 30

第一頁會很快

PERCONA PERFORMANCE CONFERENCE 2009上，來自雅虎的幾位工程師帶來了一篇"EfficientPagination Using MySQL"的報告

limit10000,20的意思掃描滿足條件的10020行，扔掉前面的10000行，返回最後的20行，問題就在這裡。

LIMIT 451350 , 30 掃描了45萬多行，怪不得慢的資料庫都堵死了。

但是

limit 30 這樣的語句僅僅掃描30行。

那麼如果我們之前記錄了最大ID，就可以在這裡做文章

舉個例子

日常分頁SQL語句
select id,name,content from users order by id asc limit 100000,20

掃描100020行

如果記錄了上次的最大ID

select id,name,content from users where id>100073 order by id asc limit 20
掃描20行。

總資料有500萬左右

以下例子 當時候 select * from wl_tagindex where byname='f' order by id limit 300000,10 執行時間是 3.21s

最佳化後：

select * from (
            select id from wl_tagindex
            where byname='f' order by id limit 300000,10
) a
left join wl_tagindex b on a.id=b.id

執行時間為 0.11s 速度明顯提升

這裡需要說明的是 我這裡用到的欄位是 byname ,id 需要把這兩個欄位做複合索引，否則的話效果提升不明顯

總結

當一個資料庫表過於龐大，LIMIT offset, length中的offset值過大，則SQL查詢語句會非常緩慢，你需增加order by，並且order by欄位需要建立索引。
如果使用子查詢去最佳化LIMIT的話，則子查詢必須是連續的，某種意義來講，子查詢不應該有where條件，where會過濾資料，使資料失去連續性。
如果你查詢的記錄比較大，並且資料轉送量比較大，比如包含了text類型的field，則可以通過建立子查詢。
SELECT id,title,content FROM items WHERE id IN (SELECT id FROM items ORDER BY id limit 900000, 10);
如果limit語句的offset較大，你可以通過傳遞pk索引值來減小offset = 0，這個主鍵最好是int類型並且auto_increment
SELECT * FROM users WHERE uid > 456891 ORDER BY uid LIMIT 0, 10;
這條語句，大意如下:
SELECT * FROM users WHERE uid >=  (SELECT uid FROM users ORDER BY uid limit 895682, 1) limit 0, 10;
如果limit的offset值過大，使用者也會翻頁疲勞，你可以設定一個offset最大的，超過了可以另行處理，一般連續翻頁過大，使用者體驗很差，則應該提供更優的使用者體驗給使用者。

limit 分頁最佳化方法

1.子查詢最佳化法
先找出第一條資料，然後大於等於這條資料的id就是要擷取的資料
缺點：資料必須是連續的，可以說不能有where條件，where條件會篩選資料，導致資料失去連續性

實驗下

代碼如下

複製代碼

mysql> set profiling=1; Query OK, 0 rows affected (0.00 sec) mysql> select count(*) from Member; +----------+ | count(*) | +----------+ |   169566 | +----------+ 1 row in set (0.00 sec) mysql> pager grep !~- PAGER set to 'grep !~-' mysql> select * from Member limit 10, 100; 100 rows in set (0.00 sec) mysql> select * from Member where MemberID >= (select MemberID from Member limit 10,1) limit 100; 100 rows in set (0.00 sec) mysql> select * from Member limit 1000, 100; 100 rows in set (0.01 sec) mysql> select * from Member where MemberID >= (select MemberID from Member limit 1000,1) limit 100; 100 rows in set (0.00 sec) mysql> select * from Member limit 100000, 100; 100 rows in set (0.10 sec) mysql> select * from Member where MemberID >= (select MemberID from Member limit 100000,1) limit 100; 100 rows in set (0.02 sec) mysql> nopager PAGER set to stdout mysql> show profilesG *************************** 1. row *************************** Query_ID: 1 Duration: 0.00003300    Query: select count(*) from Member *************************** 2. row *************************** Query_ID: 2 Duration: 0.00167000    Query: select * from Member limit 10, 100 *************************** 3. row *************************** Query_ID: 3 Duration: 0.00112400    Query: select * from Member where MemberID >= (select MemberID from Member limit 10,1) limit 100 *************************** 4. row *************************** Query_ID: 4 Duration: 0.00263200    Query: select * from Member limit 1000, 100 *************************** 5. row *************************** Query_ID: 5 Duration: 0.00134000    Query: select * from Member where MemberID >= (select MemberID from Member limit 1000,1) limit 100 *************************** 6. row *************************** Query_ID: 6 Duration: 0.09956700    Query: select * from Member limit 100000, 100 *************************** 7. row *************************** Query_ID: 7 Duration: 0.02447700    Query: select * from Member where MemberID >= (select MemberID from Member limit 100000,1) limit 100

從結果中可以得知，當位移1000以上使用子查詢法可以有效提高效能。

2.倒排表最佳化法
倒排表法類似建立索引，用一張表來維護頁數，然後通過高效的串連得到資料

缺點：只適合資料數固定的情況，資料不能刪除，維護頁表困難

3.反向尋找最佳化法
當位移超過一半記錄數的時候，先用排序，這樣位移就反轉了

缺點：order by最佳化比較麻煩，要增加索引，索引影響資料的修改效率，並且要知道總記錄數
，位移大於資料的一半

引用
limit位移演算法：
正向尋找： (當前頁 - 1) * 頁長度
反向尋找： 總記錄 - 當前頁 * 頁長度

做下實驗，看看效能如何

總記錄數：1,628,775
每頁記錄數： 40
總頁數：1,628,775 / 40 = 40720
中間頁數：40720 / 2 = 20360

第21000頁
正向尋找SQL:
Sql代碼 

代碼如下	複製代碼
SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 839960, 40

時間：1.8696 秒

反向尋找sql:
Sql代碼 

代碼如下	複製代碼
SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 788775, 40

時間：1.8336 秒

第30000頁
正向尋找SQL:
Sql代碼 

代碼如下	複製代碼
1.SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 1199960, 40  SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 1199960, 40

時間：2.6493 秒

反向尋找sql:
Sql代碼 

代碼如下	複製代碼
1.SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 428775, 40  SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 428775, 40

時間：1.0035 秒

注意，反向尋找的結果是是降序desc的，並且InputDate是記錄的插入時間，也可以用主鍵聯合索引，但是不方便。

4.limit限制最佳化法
把limit位移量限制低於某個數。。超過這個數等於沒資料，我記得alibaba的dba說過他們是這樣做的

5.只查索引法