資料庫查詢最佳化-轉

本文轉自：http://bbs3.chinaunix.net/viewthread.php?tid=83481 作者：榮譽版主－精靈使1．合理使用索引  

    索引是資料庫中重要的資料結構，它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處，其使用原則如下：  

●在經常進行串連，但是沒有指定為外鍵的列上建立索引，而不經常串連的欄位則由最佳化器自動產生索引。  

●在頻繁進行排序或分組（即進行group by或order by操作）的列上建立索引。  

●在條件運算式中經常用到的不同值較多的列上建立檢索，在不同值少的列上不要建立索引。比如在僱員表的“性別”列上只有“男”與“女”兩個不同值，因此就無必要建立索引。如果建立索引不但不會提高查詢效率，反而會嚴重降低更新速度。  

●如果待排序的列有多個，可以在這些列上建立複合索引（compound index）。  

●使用系統工具。如Informix資料庫有一個tbcheck工具，可以在可疑的索引上進行檢查。在一些資料庫伺服器上，索引可能失效或者因為頻繁操作而使得讀取效率降低，如果一個使用索引的查詢不明不白地慢下來，可以試著用tbcheck工具檢查索引的完整性，必要時進行修複。另外，當資料庫表更新大量資料後，刪除並重建索引可以提高查詢速度。  

2．避免或簡化排序  

應當簡化或避免對大型表進行重複的排序。當能夠利用索引自動以適當的次序產生輸出時，最佳化器就避免了排序的步驟。以下是一些影響因素：  

●索引中不包括一個或幾個待排序的列；  

●group by或order by子句中列的次序與索引的次序不一樣；  

●排序的列來自不同的表。  

為了避免不必要的排序，就要正確地增建索引，合理地合并資料庫表（儘管有時可能影響表的正常化，但相對於效率的提高是值得的）。如果排序不可避免，那麼應當試圖簡化它，如縮小排序的列的範圍等。  

3．消除對大型表行資料的順序存取  

在巢狀查詢中，對錶的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略，一個嵌套3層的查詢，如果每層都查詢1000行，那麼這個查詢就要查詢10億行資料。避免這種情況的主要方法就是對串連的列進行索引。例如，兩個表：學生表（學號、姓名、年齡……）和選課表（學號、課程號、成績）。如果兩個表要做串連，就要在“學號”這個串連欄位上建立索引。  

還可以使用並集來避免順序存取。儘管在所有的檢查列上都有索引，但某些形式的where子句強迫最佳化器使用順序存取。下面的查詢將強迫對orders表執行順序操作：  

SELECT ＊ FROM orders WHERE (customer_num=104 AND order_num>;1001) OR order_num=1008  

雖然在customer_num和order_num上建有索引，但是在上面的語句中最佳化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合，所以應該改為如下語句：  

SELECT ＊ FROM orders WHERE customer_num=104 AND order_num>;1001  

UNION  

SELECT ＊ FROM orders WHERE order_num=1008  

這樣就能利用索引路徑處理查詢。  

4．避免相互關聯的子查詢  

一個列的標籤同時在主查詢和where子句中的查詢中出現，那麼很可能當主查詢中的列值改變之後，子查詢必須重新查詢一次。查詢嵌套層次越多，效率越低，因此應當盡量避免子查詢。如果子查詢不可避免，那麼要在子查詢中過濾掉儘可能多的行。  

5．避免困難的正規運算式  

MATCHES和LIKE關鍵字支援萬用字元匹配，技術上叫正規運算式。但這種匹配特別耗費時間。例如：SELECT ＊ FROM customer WHERE zipcode LIKE “98_ _ _”  

即使在zipcode欄位上建立了索引，在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT ＊ FROM customer WHERE zipcode >;“98000”，在執行查詢時就會利用索引來查詢，顯然會大大提高速度。  

另外，還要避免非開始的子串。例如語句：SELECT ＊ FROM customer WHERE zipcode[2，3] >;“80”，在where子句中採用了非開始子串，因而這個語句也不會使用索引。  

6．使用暫存資料表加速查詢  

把表的一個子集進行排序並建立暫存資料表，有時能加速查詢。它有助於避免多重排序操作，而且在其他方面還能簡化最佳化器的工作。例如：  

SELECT cust.name，rcvbles.balance，……other columns  

FROM cust，rcvbles  

WHERE cust.customer_id = rcvlbes.customer_id  

AND rcvblls.balance>;0  

AND cust.postcode>;“98000”  

ORDER BY cust.name  

如果這個查詢要被執行多次而不止一次，可以把所有未付款的客戶找出來放在一個臨時檔案中，並按客戶的名字進行排序：  

SELECT cust.name，rcvbles.balance，……other columns  

FROM cust，rcvbles  

WHERE cust.customer_id = rcvlbes.customer_id  

AND rcvblls.balance>;0  

ORDER BY cust.name  

INTO TEMP cust_with_balance  

然後以下面的方式在暫存資料表中查詢：  

SELECT ＊ FROM cust_with_balance  

WHERE postcode>;“98000”  

暫存資料表中的行要比主表中的行少，而且物理順序就是所要求的順序，減少了磁碟I/O，所以查詢工作量可以得到大幅減少。  

注意：暫存資料表建立後不會反映主表的修改。在主表中資料頻繁修改的情況下，注意不要遺失資料。  

7．用排序來取代非順序存取  

非順序磁碟存取是最慢的操作，表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況，使得我們在寫應用程式時很容易寫出要求存取大量非順序頁的查詢。  

有些時候，用資料庫的排序能力來替代非順序的存取能改進查詢。
下面我們舉一個製造公司的例子來說明如何進行查詢最佳化。製造公司資料庫中包括3個表，模式如下所示：  

1．part表  

零件號　　　　　零件描述　　　　　　　　其他列  

（part_num）　（part_desc）　　　　　　（other column）  

102，032　　　Seageat 30G disk　　　　　……  

500，049　　　Novel 10M network card　　……  

……  

2．vendor表  

廠商號　　　　　　廠商名　　　　　　其他列  

（vendor _num）　（vendor_name） （other column）  

910，257　　　　　Seageat Corp　　　……  

523，045　　　　　IBM Corp　　　　　……  

……  

3．parven表  

零件號　　　　　廠商號　　　　　零件數量  

（part_num）　（vendor_num）　（part_amount）  

102，032　　　　910，257　　　　3,450,000  

234，423　　　　321，001　　　　4，000，000  

……  

下面的查詢將在這些表上定期運行，併產生關於所有零件數量的報表：  

SELECT part_desc，vendor_name，part_amount  

FROM part，vendor，parven  

WHERE part.part_num=parven.part_num  

AND parven.vendor_num = vendor.vendor_num  

ORDER BY part.part_num  

如果不建立索引，上述查詢代碼的開銷將十分巨大。為此，我們在零件號和廠商號上建立索引。索引的建立避免了在嵌套中反覆掃描。關於表與索引的統計資訊如下：  

表　　　　　行尺寸　　　行數量　　　　　每頁行數量　　　資料頁數量  

（table）　(row size)　（Row count）　（Rows/Pages）　（Data Pages）  

part　　　　150　　　　　10，000　　　　25　　　　　　　400  

Vendor　　　150　　　　　1，000　　　　 25　　　　　　　40  

Parven　　　13　　　　　 15，000　　　　300　　　　　　 50  

索引　　　　　鍵尺寸　　　每頁鍵數量　　　頁面數量  

（Indexes）　(Key Size)　（Keys/Page)　　　(Leaf Pages）  

part　　　　　4　　　　　　500　　　　　　　20  

Vendor　　　　4　　　　　　500　　　　　　　2  

Parven　　　　8　　　　　　250　　　　　　　60  

看起來是個相對簡單的3表串連，但是其查詢開銷是很大的。通過查看系統資料表可以看到，在part_num上和vendor_num上有簇索引，因此索引是按照物理順序存放的。parven表沒有特定的存放次序。這些表的大小說明從緩衝頁中非順序存取的成功率很小。此語句的最佳化查詢規劃是：首先從part中順序讀取400頁，然後再對parven表非順序存取1萬次，每次2頁（一個索引頁、一個資料頁），總計2萬個磁碟頁，最後對vendor表非順序存取1.5萬次，合3萬個磁碟頁。可以看出在這個索引好的串連上花費的磁碟存取為5.04萬次。  

實際上，我們可以通過使用暫存資料表分3個步驟來提高查詢效率：  

1．從parven表中按vendor_num的次序讀資料：  

SELECT part_num，vendor_num，price  

FROM parven  

ORDER BY vendor_num  

INTO temp pv_by_vn  

這個語句順序讀parven（50頁），寫一個暫存資料表（50頁），並排序。假定排序的開銷為200頁，總共是300頁。  

2．把暫存資料表和vendor表串連，把結果輸出到一個暫存資料表，並按part_num排序：  

SELECT pv_by_vn，＊ vendor.vendor_num  

FROM pv_by_vn，vendor  

WHERE pv_by_vn.vendor_num=vendor.vendor_num  

ORDER BY pv_by_vn.part_num  

INTO TMP pvvn_by_pn  

DROP TABLE pv_by_vn  

這個查詢讀取pv_by_vn(50頁)，它通過索引存取vendor表1.5萬次，但由於按vendor_num次序排列，實際上只是通過索引順序地讀vendor表（40＋2=42頁），輸出的表每頁約95行，共160頁。寫並存取這些頁引發5＊160=800次的讀寫，索引共讀寫892頁。  

3．把輸出和part串連得到最後的結果：  

SELECT pvvn_by_pn.＊，part.part_desc  

FROM pvvn_by_pn，part  

WHERE pvvn_by_pn.part_num=part.part_num  

DROP TABLE pvvn_by_pn  

這樣，查詢順序地讀pvvn_by_pn(160頁)，通過索引讀part表1.5萬次，由於建有索引，所以實際上進行1772次磁碟讀寫，最佳化比例為30∶1。筆者在Informix Dynamic Sever上做同樣的實驗，發現在時間耗費上的最佳化比例為5∶1(如果增加資料量，比例可能會更大)。  

小　結  

20％的代碼用去了80％的時間，這是程式設計中的一個著名定律，在資料庫應用程式中也同樣如此。我們的最佳化要抓住關鍵問題，對於資料庫應用程式來說，重點在於SQL的執行效率。查詢最佳化的重點環節是使得資料庫伺服器少從磁碟中讀資料以及順序讀頁而不是非順序讀頁。

資料庫的查詢最佳化技術

人們在使用SQL時往往會陷入一個誤區，即太關注於所得的結果是否正確，而忽略了不同的實現方法之間可能存在的
效能差異，這種效能差異在大型的或是複雜的資料庫環境中（如聯機交易處理OLTP或決策支援系統DSS）中表現得尤為明
顯。筆者在工作實踐中發現，不良的SQL往往來自於不恰當的索引設計、不充份的串連條件和不可最佳化的where子句。在對
它們進行適當的最佳化後，其運行速度有了明顯地提高！下面我將從這三個方面分別進行總結：

---- 為了更直觀地說明問題，所有執行個體中的SQL已耗用時間均經過測試，不超過１秒的均表示為（< 1秒）。

---- 測試環境--
---- 主機：HP LH II
---- 主頻：330MHZ
---- 記憶體：128兆
---- 作業系統：Operserver5.0.4
----資料庫：Sybase11.0.3

一、不合理的索引設計
----例：表record有620000行，試看在不同的索引下，下面幾個 SQL的運行情況：
---- 1.在date上建有一非個群集索引

select count(*) from record where date >;
'19991201' and date < '19991214'and amount >;
2000 (25秒)
select date,sum(amount) from record group by date
(55秒)
select count(*) from record where date >;
'19990901' and place in ('BJ','SH') (27秒)

---- 分析：
----date上有大量的重複值，在非群集索引下，資料在物理上隨機存放在資料頁上，在範圍尋找時，必須執行一次表掃描
才能找到這一範圍內的全部行。

---- 2.在date上的一個群集索引

select count(*) from record where date >;
'19991201' and date < '19991214' and amount >;
2000 （14秒）
select date,sum(amount) from record group by date
（28秒）
select count(*) from record where date >;
'19990901' and place in ('BJ','SH')（14秒）

---- 分析：
---- 在群集索引下，資料在物理上按順序在資料頁上，重複值也排列在一起，因而在範圍尋找時，可以先找到這個範圍的
起末點，且只在這個範圍內掃描資料頁，避免了大範圍掃描，提高了查詢速度。

---- 3.在place，date，amount上的複合式索引

select count(*) from record where date >;
'19991201' and date < '19991214' and amount >;
2000 （26秒）
select date,sum(amount) from record group by date
（27秒）
select count(*) from record where date >;
'19990901' and place in ('BJ, 'SH')（< 1秒）

---- 分析：
---- 這是一個不很合理的複合式索引，因為它的前置列是place，第一和第二條SQL沒有引用place，因此也沒有利用上索
引；第三個SQL使用了place，且引用的所有列都包含在複合式索引中，形成了索引覆蓋，所以它的速度是非常快的。

---- 4.在date，place，amount上的複合式索引

select count(*) from record where date >;
'19991201' and date < '19991214' and amount >;
2000(< 1秒)
select date,sum(amount) from record group by date
（11秒）
select count(*) from record where date >;
'19990901' and place in ('BJ','SH')（< 1秒）

---- 分析：
---- 這是一個合理的複合式索引。它將date作為前置列，使每個SQL都可以利用索引，並且在第一和第三個SQL中形成了索引
覆蓋，因而效能達到了最優。

---- 5.總結：

---- 預設情況下建立的索引是非群集索引，但有時它並不是最佳的；合理的索引設計要建立在對各種查詢的分析和預測
上。一般來說：

---- ①.有大量重複值、且經常有範圍查詢

（between, >;,< ，>;=,< =）和order by
、group by發生的列，可考慮建立群集索引；

---- ②.經常同時存取多列，且每列都含有重複值可考慮建立複合式索引；

---- ③.複合式索引要盡量使關鍵查詢形成索引覆蓋，其前置列一定是使用最頻繁的列。

二、不充份的串連條件：
---- 例：表card有7896行，在card_no上有一個非叢集索引，表account有191122行，在 account_no上有一個非聚集索
引，試看在不同的表串連條件下，兩個SQL的執行情況：

select sum(a.amount) from account a,
card b where a.card_no = b.card_no（20秒）

---- 將SQL改為：
select sum(a.amount) from account a,
card b where a.card_no = b.card_no and a.
account_no=b.account_no（< 1秒）

---- 分析：
---- 在第一個串連條件下，最佳查詢方案是將account作外層表，card作內層表，利用card上的索引，其I/O次數可由以下
公式估算為：

---- 外層表account上的22541頁+（外層表account的191122行*內層表card上對應外層表第一行所要尋找的3頁）=595907
次I/O

---- 在第二個串連條件下，最佳查詢方案是將card作外層表，account作內層表，利用account上的索引，其I/O次數可由
以下公式估算為：

---- 外層表card上的1944頁+（外層表card的7896行*內層表account上對應外層表每一行所要尋找的4頁）= 33528次I/O

---- 可見，只有充份的串連條件，真正的最佳方案才會被執行。

---- 總結：

---- 1.多表操作在被實際執行前，查詢最佳化工具會根據串連條件，列出幾組可能的串連方案並從中找出系統開銷最小的最佳
方案。串連條件要充份考慮帶有索引的表、行數多的表；內外表的選擇可由公式：外層表中的匹配行數*內層表中每一次查
找的次數確定，乘積最小為最佳方案。

---- 2.查看執行方案的方法-- 用set showplanon，開啟showplan選項，就可以看到串連順序、使用何種索引的資訊；想
看更詳細的資訊，需用sa角色執行dbcc(3604,310,302)。

三、不可最佳化的where子句
---- 1.例：下列SQL條件陳述式中的列都建有恰當的索引，但執行速度卻非常慢：

select * from record where
substring(card_no,1,4)='5378'(13秒)
select * from record where
amount/30< 1000（11秒）
select * from record where
convert(char(10),date,112)='19991201'（10秒）

---- 分析：
---- where子句中對列的任何操作結果都是在SQL運行時逐列計算得到的，因此它不得不進行表搜尋，而沒有使用該列上面
的索引；如果這些結果在查詢編譯時間就能得到，那麼就可以被SQL最佳化器最佳化，使用索引，避免表搜尋，因此將SQL重寫成
下面這樣：

select * from record where card_no like
'5378%'（< 1秒）
select * from record where amount
< 1000*30（< 1秒）
select * from record where date= '1999/12/01'
（< 1秒）

---- 你會發現SQL明顯快起來！

---- 2.例：表stuff有200000行，id_no上有非群集索引，請看下面這個SQL：

select count(*) from stuff where id_no in('0','1')
（23秒）

---- 分析：
---- where條件中的'in'在邏輯上相當於'or'，所以文法分析器會將in ('0','1')轉化為id_no ='0' or id_no='1'來執
行。我們期望它會根據每個or子句分別尋找，再將結果相加，這樣可以利用id_no上的索引；但實際上（根據showplan）,
它卻採用了"OR策略"，即先取出滿足每個or子句的行，存入臨時資料庫的工作表中，再建立唯一索引以去掉重複行，最後
從這個暫存資料表中計算結果。因此，實際過程沒有利用id_no上索引，並且完成時間還要受tempdb資料庫效能的影響。

---- 實踐證明，表的行數越多，工作表的效能就越差，當stuff有620000行時，執行時間竟達到220秒！還不如將or子句分
開：

select count(*) from stuff where id_no='0'
select count(*) from stuff where id_no='1'

---- 得到兩個結果，再作一次加法合算。因為每句都使用了索引，執行時間只有3秒，在620000行下，時間也只有4秒。或
者，用更好的方法，寫一個簡單的預存程序：
create proc count_stuff as
declare @a int
declare @b int
declare @c int
declare @d char(10)
begin
select @a=count(*) from stuff where id_no='0'
select @b=count(*) from stuff where id_no='1'
end
select @c=@a+@b
select @d=convert(char(10),@c)
print @d

---- 直接算出結果，執行時間同上面一樣快！
---- 總結：

---- 可見，所謂最佳化即where子句利用了索引，不可最佳化即發生了表掃描或額外開銷。

---- 1.任何對列的操作都將導致表掃描，它包括資料庫函數、計算運算式等等，查詢時要儘可能將操作移至等號右邊。

---- 2.in、or子句常會使用工作表，使索引失效；如果不產生大量重複值，可以考慮把子句拆開；拆開的子句中應該包含
索引。

---- 3.要善於使用預存程序，它使SQL變得更加靈活和高效。

---- 從以上這些例子可以看出，SQL最佳化的實質就是在結果正確的前提下，用最佳化器可以識別的語句，充份利用索引，減
少表掃描的I/O次數，盡量避免表搜尋的發生。其實SQL的效能最佳化是一個複雜的過程，上述這些只是在應用程式層次的一種體
現，深入研究還會涉及資料庫層的資源配置、網路層的流量控制以及作業系統層的總體設計。