生產庫中遇到mysql的子查詢

標籤：data   好的   select   移植   table   sql資料庫   dba   最佳化   邏輯   

使用過oracle或者其他關聯式資料庫的DBA或者開發人員都有這樣的經驗，在子查詢上都認為資料庫已經做過最佳化，能夠很好的選擇驅動表執行，然後在把該經驗移植到mysql資料庫上，但是不幸的是，mysql在子查詢的處理上有可能會讓你大失所望，在我們的生產系統上就由於碰到了這個問題：

select  i_id, sum(i_sell) as i_sell

from table_data

where i_id in (select i_id from table_data where Gmt_create >= ‘2011-10-07 00:00:00’)

group by i_id;

（備忘：sql的商務邏輯可以打個比方：先查詢出10-07號新賣出的100本書，然後在查詢這新賣出的100本書在全年的銷量情況）。

這條sql之所以出現的效能問題在於mysql最佳化器在處理子查詢的弱點，mysql最佳化器在處理子查詢的時候，會將將子查詢改寫。通常情況下，我們希望由內到外，先完成子查詢的結果，然後在用子查詢來驅動外查詢的表，完成查詢；但是mysql處理為將會先掃描外面表中的所有資料，每條資料將會傳到子查詢中與子查詢關聯，如果外表很大的話，那麼效能上將會出現問題；

針對上面的查詢，由於table_data這張表的資料有70W的資料，同時子查詢中的資料較多，有大量是重複的，這樣就需要關聯近70W次，大量的關聯導致這條sql執行了幾個小時也沒有執行完成，所以我們需要改寫sql：

SELECT t2.i_id, SUM(t2.i_sell) AS sold

FROM (SELECT distinct i_id FROM table_data

WHERE gmt_create >= ‘2011-10-07 00:00:00’) t1,  table_data t2

WHERE t1.i_id = t2.i_id GROUP BY t2.i_id;

我們將子查詢改為了關聯，同時在子查詢中加上distinct，減少t1關聯t2的次數；

改造後，sql的執行時間降到100ms以內。

轉：http://hidba.org/?p=412 

 

生產庫中遇到mysql的子查詢