[轉] 大資料量慣用最佳化方法

標籤：

尊重知識，尊重作者。原文連結：http://www.thebigdata.cn/JieJueFangAn/14134.html

在大資料網站看到的，方便日後查用轉來儲存。

　　1. 應盡量避免在 where 子句中對欄位進行 null值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：　　select id from t where num is null　　可以在num上設定預設值0，確保表中num列沒有null值，然後這樣查詢：　　select id from t where num=0　　2. 應盡量避免在 where 子句中使用!=或<>操作符，否則將導致引擎放棄使用索引而進行全表掃描。最佳化器將無法通過索引來確定將要命中的行數,因此需要搜尋該表的所有行。　　3. 應盡量避免在 where 子句中使用 or來串連條件，否則將導致引擎放棄使用索引而進行全表掃描，如：　　select id from t where num=10 or num=20　　可以這樣查詢：　　select id from t where num=10　　union all　　select id from t where num=20　　4. in和 not in也要慎用，因為in會使系統無法使用索引,而只能直接搜尋表中的資料。如：　　select id from t where num in(1,2,3)　　對於連續的數值，能用 between就不要用 in了：　　select id from t where num between 1 and 3　　5. 盡量避免在索引過的字元資料中，使用非字母打頭搜尋。這也使得引擎無法利用索引。 見如下例子：　　SELECT * FROM T1 WHERE NAME LIKE‘%L%’　　SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=’L’　　SELECT * FROM T1 WHERE NAME LIKE‘L%’　　即使NAME欄位建有索引，前兩個查詢依然無法利用索引完成加快操作，引擎不得不對全表所有資料逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。　　6. 必要時強制查詢最佳化工具使用某個索引，如在 where 子句中使用參數，也會導致全表掃描。因為SQL只有在運行時才會解析局部變數，但最佳化程式不能將訪問計劃的選擇延遲到運行時;它必須在編譯時間進行選擇。然而，如果在編譯時間建立訪問計劃，變數的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：　　select id from t where　　可以改為強制查詢使用索引：　　select id from t with(index(索引名)) where　　7. 應盡量避免在 where 子句中對欄位進行運算式操作，這將導致引擎放棄使用索引而進行全表掃描。如：　　SELECT* FROM T1 WHERE F1/2=100　　應改為:　　SELECT* FROM T1 WHERE F1=100*2　　SELECT *FROM RECORD WHERESUBSTRING(CARD_NO,1,4)=’5378’　　應改為:　　SELECT *FROM RECORD WHERE CARD_NO LIKE ‘5378%’　　SELECTmember_number,first_name,last_name FROM members　　WHEREDATEDIFF(yy,datofbirth,GETDATE())> 21　　應改為:　　SELECTmember_number,first_name,last_name FROM members　　WHEREdateofbirth　　即：任何對列的操作都將導致表掃描，它包括資料庫函數、計算運算式等等，查詢時要儘可能將操作移至等號右邊。　　8. 應盡量避免在where子句中對欄位進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：　　select id from t where substring(name,1,3)=‘abc‘—name　　以abc開頭的id　　select id from t wheredatediff(day,createdate,‘2005-11-30‘)=0--‘2005-11-30’　　產生的id　　應改為:　　select id from t where name like ‘abc%‘　　select id from t where createdate>=‘2005-11-30‘and createdate<‘2005-12-1‘　　9. 在使用索引欄位作為條件時，如果該索引是複合索引，那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引，否則該索引將不會被使用，並且應儘可能的讓欄位順序與索引順序相一致。　　10. 很多時候用 exists是一個好的選擇：　　selectnum from a where num in(select num from b)　　用下面的語句替換：　　select num from a where exists(select 1 from b where num=a.num)　　SELECT SUM(T1.C1)FROM T1 WHERE(　　(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)　　SELECT SUM(T1.C1) FROM T1WHERE EXISTS(　　SELECT *FROM T2 WHERE T2.C2=T1.C2)　　兩者產生相同的結果，但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的表掃描或是索引掃描。　　如果你想校正表裡是否存在某條紀錄，不要用count(*)那樣效率很低，而且浪費伺服器資源。可以用EXISTS代替。如：　　IF (SELECT COUNT(*)FROM table_name WHERE column_name= ‘xxx‘)　　可以寫成：　　IF EXISTS (SELECT * FROM table_name WHERE column_name =‘xxx‘)　　經常需要寫一個T_SQL語句比較一個父結果集和子結果集，從而找到是否存在在父結果集中有而在子結果集中沒有的記錄，如：　　SELECT a.hdr_key FROM hdr_tbl a----tbla表示tbl用別名a代替　　WHERE NOT EXISTS (SELECT * FROM dtl_tbl b WHERE a.hdr_key =b.hdr_key)　　SELECT a.hdr_key FROM hdr_tbla　　LEFT JOIN dtl_tbl b ON a.hdr_key=b.hdr_key WHERE b.hdr_key IS NULL　　SELECT hdr_key FROM hdr_tbl　　WHERE hdr_key NOT IN (SELECThdr_keyFROMdtl_tbl)　　三種寫法都可以得到同樣正確的結果，但是效率依次降低。　　11. 避免頻繁建立和刪除暫存資料表，以減少系統資料表資源的消耗。　　12. 暫存資料表並不是不可使用，適當地使用它們可以使某些常式更有效，例如，當需要重複引用大型表或常用表中的某個資料集時。但是，對於一次性事件，最好使用匯出表。　　13. 在建立暫存資料表時，如果一次性插入資料量很大，那麼可以使用 select into 代替 create table，避免造成大量 log ，以提高速度;如果資料量不大，為了緩和系統資料表的資源，應先create table，然後insert。　　14. 如果使用到了暫存資料表，在預存程序的最後務必將所有的暫存資料表顯式刪除，先 truncate table ，然後 drop table，這樣可以避免系統資料表的較長時間鎖定。　　15. 在所有的預存程序和觸發器的開始處設定 SET NOCOUNT ON ，在結束時設定 SET NOCOUNT OFF。無需在執行預存程序和觸發器的每個語句後向用戶端發送 DONE_IN_PROC訊息。　　16. 盡量避免大事務操作，提高系統並發能力。　　17. 盡量避免向用戶端返回大資料量，若資料量過大，應該考慮相應需求是否合理，比如是否返回全對象，可不可以減少某些非必要欄位。　　18.避免使用不相容的資料類型。例如float和int、char和varchar、binary和varbinary是不相容的。資料類型的不相容可能使最佳化器無法執行一些本來可以進行的最佳化操作。例如:　　SELECT name FROM employee WHERE salary >60000　　在這條語句中,如salary欄位是money型的,則最佳化器很難對其進行最佳化,因為60000是個整型數。我們應當在編程時將整型轉化成為錢幣型,而不要等到運行時轉化。　　19. 充分利用串連條件，在某種情況下，兩個表之間可能不只一個的串連條件，這時在 WHERE 子句中將串連條件完整的寫上，有可能大大提高查詢速度。 例：　　SELECTSUM(A.AMOUNT) FROM ACCOUNT A, CARD B WHERE A.CARD_NO =B.CARD_NO　　SELECTSUM(A.AMOUNT) FROM ACCOUNT A,CARD B WHERE A.CARD_NO =B.CARD_NO AND A.ACCOUNT_NO=B.ACCOUNT_NO　　第二句將比第一句執行快得多。　　20. 使用視圖加速查詢 把表的一個子集進行排序並建立視圖，有時能加速查詢。它有助於避免多重排序操作，而且在其他方面還能簡化最佳化器的工作。　　21. 能用DISTINCT的就不用GROUP BY　　SELECTOrderIDFROM Details WHEREUnitPrice > 10 GROUP BYOrderID　　可改為：　　SELECT DISTINCTOrderIDFROM Details WHEREUnitPrice > 10　　22. 能用UNION ALL就不要用UNION UNIONALL不執行SELECT DISTINCT函數，這樣就會減少很多不必要的資源　　23. 盡量不要用SELECT INTO語句。 SELECT INOT語句會導致表鎖定，阻止其他使用者訪問該表。

 

[轉] 大資料量慣用最佳化方法