MYSQL效能最佳化)

MySQL 伺服器調優
最近幫人維護一個DZ論壇，總結如下幾個調優技巧，讓 MySQL 伺服器飛速運行
有 3 種方法可以加快 MySQL 伺服器的運行速度，效率從低到高依次為：

1.替換有問題的硬體。
2.對 MySQL 進程的設定進行調優。
3.對查詢進行最佳化。

替換有問題的硬體通常是我們的第一考慮，主要原因是資料庫會佔用大量資源。不過這種解決方案也就僅限於此了。實際上，您通常可以讓中央處理器（CPU）或磁碟速度加倍，也可以讓記憶體增大 4 到 8 倍。

第二種方法是對 MySQL 伺服器（也稱為 mysqld）進行調優。對這個進程進行調優意味著適當地分配記憶體，並讓 mysqld 瞭解將會承受何種類型的負載。加快磁碟運行速度不如減少所需的磁碟訪問次數。類似地，確保 MySQL 進程正確操作就意味著它花費在服務查詢上的時間要多於花費在處理背景工作（如處理臨時磁碟表或開啟和關閉檔案）上的時間。對 mysqld 進行調優是本文的重點。

最好的方法是確保查詢已經進行了最佳化。這意味著對錶應用了適當的索引，查詢是按照可以充分利用 MySQL 功能的方式來編寫的。儘管本文並沒有包含查詢調優方面的內容（很多著作中已經針對這個主題進行了探討），不過它會配置 mysqld 來報告可能需要進行調優的查詢。

雖然已經為這些任務指派了次序，但是仍然要注意硬體和 mysqld 的設定以利於適當地調優查詢。機器速度慢也就罷了，我曾經見過速度很快的機器在運行設計良好的查詢時由於負載過重而失敗，因為 mysqld 被大量繁忙的工作所佔用而不能服務查詢。

記錄慢速查詢

在一個 SQL 伺服器中，資料表都是儲存在磁碟上的。索引為伺服器提供了一種在表中尋找特定資料行的方法，而不用搜尋整個表。當必須要搜尋整個表時，就稱為表掃描。通常 來說，您可能只希望獲得表中資料的一個子集，因此全表掃描會浪費大量的磁碟 I/O，因此也就會浪費大量時間。當必須對資料進行串連時，這個問題就更加複雜了，因為必須要對串連兩端的多行資料進行比較。

當然，表掃描並不總是會帶來問題；有時讀取整個表反而會比從中挑選出一部分資料更加有效（伺服器處理序中查詢規劃器用來作出這些決定）。如果索引 的使用效率很低，或者根本就不能使用索引，則會減慢查詢速度，而且隨著伺服器上的負載和表大小的增加，這個問題會變得更加顯著。執行時間超過給定時間範圍 的查詢就稱為慢速查詢。

您可以配置 mysqld 將這些慢速查詢記錄到適當命名的慢速查詢日誌中。管理員然後會查看這個日誌來協助他們確定應用程式中有哪些部分需要進一步調查。清單 1 給出了要啟用慢速查詢日誌需要在 my.cnf 中所做的配置。

清單 1. 啟用 MySQL 慢速查詢日誌

[mysqld] ; enable the slow query log, default 10 seconds log-slow-queries ; log queries taking longer than 5 seconds long_query_time = 5 ; log queries that don’t use indexes even if they take less than long_query_time ; MySQL 4.1 and newer only log-queries-not-using-indexes

這三個設定一起使用，可以記錄執行時間超過 5 秒和沒有使用索引的查詢。請注意有關 log-queries-not-using-indexes 的警告：您必須使用 MySQL 4.1 或更高版本。慢速查詢日誌都儲存在 MySQL 資料目錄中，名為 hostname-slow.log。如果希望使用一個不同的名字或路徑，可以在 my.cnf 中使用 log-slow-queries = /new/path/to/file 實現此目的。

閱讀慢速查詢日誌最好是通過 mysqldumpslow 命令進行。指定記錄檔的路徑，就可以看到一個慢速查詢的排序後的列表，並且還顯示了它們在記錄檔中出現的次數。一個非常有用的特性是 mysqldumpslow 在比較結果之前，會刪除任何使用者指定的資料，因此對同一個查詢的不同調用被計為一次；這可以協助找出需要工作量最多的查詢。

對查詢進行緩衝

很多 LAMP 應用程式都嚴重依賴於資料庫，但卻會反覆執行相同的查詢。每次執行查詢時，資料庫都必須要執行相同的工作 —— 對查詢進行分析，確定如何執行查詢，從磁碟中載入資訊，然後將結果返回給客戶機。MySQL 有一個特性稱為查詢快取，它將（後面會用到的）查詢結果儲存在記憶體中。在很多情況下，這會極大地提高效能。不過，問題是查詢快取在預設情況下是禁用的。

將 query_cache_size = 32M 添加到 /etc/my.conf 中可以啟用 32MB 的查詢快取。

監視查詢快取

在啟用查詢快取之後，重要的是要理解它是否得到了有效使用。MySQL 有幾個可以查看的變數，可以用來瞭解緩衝中的情況。清單 2 給出了緩衝的狀態。

清單 2. 顯示查詢快取的統計資訊
mysql> SHOW STATUS LIKE ‘qcache%’;
+————————-+————+
| Variable_name           | Value      |
+————————-+————+
| Qcache_free_blocks      | 5216       |
| Qcache_free_memory      | 14640664   |
| Qcache_hits             | 2581646882 |
| Qcache_inserts          | 360210964  |
| Qcache_lowmem_prunes    | 281680433  |
| Qcache_not_cached       | 79740667   |
| Qcache_queries_in_cache | 16927      |
| Qcache_total_blocks     | 47042      |
+————————-+————+
8 rows in set (0.00 sec)

這些項的解釋如表 1 所示。

表 1. MySQL 查詢快取變數變數名 說明
Qcache_free_blocks  緩衝中相鄰記憶體塊的個數。數目大說明可能有片段。FLUSH QUERY CACHE 會對緩衝中的片段進行整理，從而得到一個空閑塊。
Qcache_free_memory  緩衝中的空閑記憶體。
Qcache_hits  每次查詢在緩衝中命中時就增大。
Qcache_inserts  每次插入一個查詢時就增大。叫用次數除以插入次數就是不中比率；用 1 減去這個值就是命中率。在上面這個例子中，大約有 87% 的查詢都在緩衝中命中。
Qcache_lowmem_prunes  緩衝出現記憶體不足並且必須要進行清理以便為更多查詢提供空間的次數。這個數字最好長時間來看；如果這個數字在不斷增長，就表示可能片段非常嚴重，或者內 存很少。（上面的 free_blocks 和 free_memory 可以告訴您屬於哪種情況）。
Qcache_not_cached  不適合進行緩衝的查詢的數量，通常是由於這些查詢不是 Select 語句。
Qcache_queries_in_cache  當前緩衝的查詢（和響應）的數量。
Qcache_total_blocks  緩衝中塊的數量。
通常，間隔幾秒顯示這些變數就可以看出區別，這可以協助確定緩衝是否正在有效地使用。運行 FLUSH STATUS 可以重設一些計數器，如果伺服器已經運行了一段時間，這會非常有協助。

使用非常大的查詢快取，期望可以緩衝所有東西，這種想法非常誘人。由於 mysqld 必須要對緩衝進行維護，例如當記憶體變得很低時執行剪除，因此伺服器可能會在試圖管理緩衝時而陷入困境。作為一條規則，如果 FLUSH QUERY CACHE 佔用了很長時間，那就說明緩衝太大了。

強制限制

您可以在 mysqld 中強制一些限制來確保系統負載不會導致資源耗盡的情況出現。清單 3 給出了 my.cnf 中與資源有關的一些重要設定。

清單 3. MySQL 資源設定
set-variable=max_connections=500
set-variable=wait_timeout=10
max_connect_errors = 100

串連最大個數是在第一行中進行管理的。與 Apache 中的 MaxClients 類似，其想法是確保只建立服務允許數目的串連。要確定伺服器上目前建立過的最大串連數，請執行 SHOW STATUS LIKE ‘max_used_connections’。

第 2 行告訴 mysqld 終止所有空閑時間超過 10 秒的串連。在 LAMP 應用程式中，串連資料庫的時間通常就是 Web 伺服器處理請求所花費的時間。有時候，如果負載過重，串連會掛起，並且會佔用串連資料表空間。如果有多個互動使用者或使用了到資料庫的持久串連，那麼將這個值設 低一點並不可取！

最後一行是一個安全的方法。如果一個主機在串連到伺服器時有問題，並重試很多次後放棄，那麼這個主機就會被鎖定，直到 FLUSH HOSTS 之後才能運行。預設情況下，10 次失敗就足以導致鎖定了。將這個值修改為 100 會給伺服器足夠的時間來從問題中恢複。如果重試 100 次都無法建立串連，那麼使用再高的值也不會有太多協助，可能它根本就無法串連。

緩衝區和緩衝

MySQL 支援超過 100 個的可調節設定；但是幸運的是，掌握少數幾個就可以滿足大部分需要。尋找這些設定的正確值可以通過 SHOW STATUS 命令查看狀態變數，從中可以確定 mysqld 的運作情況是否符合我們的預期。給緩衝區和緩衝分配的記憶體不能超過系統中的現有記憶體，因此調優通常都需要進行一些妥協。

MySQL 可調節設定可以應用於整個 mysqld 進程，也可以應用於單個客戶機會話。

伺服器端的設定

每個表都可以表示為磁碟上的一個檔案，必須先開啟，後讀取。為了加快從檔案中讀取資料的過程，mysqld 對這些開啟檔案進行了緩衝，其最大數目由 /etc/mysqld.conf 中的 table_cache 指定。清單 4 給出了顯示與開啟表有關的活動的方式。

清單 4. 顯示開啟表的活動
mysql> SHOW STATUS LIKE ‘open%tables’;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Open_tables   | 5000  |
| Opened_tables | 195   |
+—————+——-+
2 rows in set (0.00 sec)

清單 4 說明目前有 5,000 個表是開啟的，有 195 個表需要開啟，因為現在緩衝中已經沒有可用檔案描述符了（由於統計資訊在前面已經清除了，因此可能會存在 5,000 個開啟表中只有 195 個開啟記錄的情況）。如果 Opened_tables 隨著重新運行 SHOW STATUS 命令快速增加，就說明快取命中率不夠。如果 Open_tables 比 table_cache 設定小很多，就說明該值太大了（不過有空間可以增長總不是什麼壞事）。例如，使用 table_cache = 5000 可以調整表的緩衝。

與表的緩衝類似，對於線程來說也有一個緩衝。 mysqld 在接收串連時會根據需要產生線程。在一個串連變化很快的繁忙伺服器上，對線程進行緩衝便於以後使用可以加快最初的串連。

清單 5 顯示如何確定是否緩衝了足夠的線程。

清單 5. 顯示線程使用統計資訊
mysql> SHOW STATUS LIKE ‘threads%’;
+——————-+——–+
| Variable_name     | Value  |
+——————-+——–+
| Threads_cached    | 27     |
| Threads_connected | 15     |
| Threads_created   | 838610 |
| Threads_running   | 3      |
+——————-+——–+
4 rows in set (0.00 sec)

此處重要的值是 Threads_created，每次 mysqld 需要建立一個新線程時，這個值都會增加。如果這個數字在連續執行 SHOW STATUS 命令時快速增加，就應該嘗試增大線程緩衝。例如，可以在 my.cnf 中使用 thread_cache = 40 來實現此目的。

關鍵字緩衝區儲存了 MyISAM 表的索引塊。理想情況下，對於這些塊的請求應該來自於記憶體，而不是來自於磁碟。清單 6 顯示了如何確定有多少塊是從磁碟中讀取的，以及有多少塊是從記憶體中讀取的。

清單 6. 確定關鍵字效率
mysql> show status like ‘%key_read%’;
+——————-+———–+
| Variable_name     | Value     |
+——————-+———–+
| Key_read_requests | 163554268 |
| Key_reads         | 98247     |
+——————-+———–+
2 rows in set (0.00 sec)

Key_reads 代表命中磁碟的請求個數， Key_read_requests 是總數。命中磁碟的讀請求數除以讀請求總數就是不中比率 —— 在本例中每 1,000 個請求，大約有 0.6 個沒有命中記憶體。如果每 1,000 個請求中命中磁碟的數目超過 1 個，就應該考慮增大關鍵字緩衝區了。例如，key_buffer = 384M 會將緩衝區設定為 384MB。

暫存資料表可以在更進階的查詢中使用，其中資料在進一步進行處理（例如 GROUP BY 字句）之前，都必須先儲存到暫存資料表中；理想情況下，在記憶體中建立暫存資料表。但是如果暫存資料表變得太大，就需要寫入磁碟中。清單 7 給出了與暫存資料表建立有關的統計資訊。

清單 7. 確定暫存資料表的使用
mysql> SHOW STATUS LIKE ‘created_tmp%’;
+————————-+——-+
| Variable_name           | Value |
+————————-+——-+
| Created_tmp_disk_tables | 30660 |
| Created_tmp_files       | 2     |
| Created_tmp_tables      | 32912 |
+————————-+——-+
3 rows in set (0.00 sec)

每次使用暫存資料表都會增大 Created_tmp_tables；基於磁碟的表也會增大 Created_tmp_disk_tables。對於這個比率，並沒有什麼嚴格的規則，因為這依賴於所涉及的查詢。長時間觀察 Created_tmp_disk_tables 會顯示所建立的磁碟表的比率，您可以確定設定的效率。 tmp_table_size 和 max_heap_table_size 都可以控制暫存資料表的最大大小，因此請確保在 my.cnf 中對這兩個值都進行了設定。

每個會話的設定

下面這些設定針對於每個會話。在設定這些數字時要十分謹慎，因為它們在乘以可能存在的串連數時候，這些選項表示大量的記憶體！您可以通過代碼修改會話中的這些數字，或者在 my.cnf 中為所有會話修改這些設定。

當 MySQL 必須要進行排序時，就會在從磁碟上讀取資料時分配一個排序緩衝區來存放這些資料行。如果要排序的資料太大，那麼資料就必須儲存到磁碟上的臨時檔案中，並再 次進行排序。如果 sort_merge_passes 狀態變數很大，這就指示了磁碟的活動情況。清單 8 給出了一些與排序相關的狀態計數器資訊。

清單 8. 顯示排序統計資訊
mysql> SHOW STATUS LIKE “sort%”;
+——————-+———+
| Variable_name     | Value   |
+——————-+———+
| Sort_merge_passes | 1       |
| Sort_range        | 79192   |
| Sort_rows         | 2066532 |
| Sort_scan         | 44006   |
+——————-+———+
4 rows in set (0.00 sec)

如果 sort_merge_passes 很大，就表示需要注意 sort_buffer_size。例如， sort_buffer_size = 4M 將排序緩衝區設定為 4MB。

MySQL 也會分配一些記憶體來讀取表。理想情況下，索引提供了足夠多的資訊，可以唯讀入所需要的行，但是有時候查詢（設計不佳或資料本性使然）需要讀取表中大量數 據。要理解這種行為，需要知道運行了多少個 Select 語句，以及需要讀取表中的下一行資料的次數（而不是通過索引直接存取）。實現這種功能的命令如清單 9 所示。

清單 9. 確定表掃描比率
mysql> SHOW STATUS LIKE “com_select”;
+—————+——–+
| Variable_name | Value  |
+—————+——–+
| Com_select    | 318243 |
+—————+——–+
1 row in set (0.00 sec)

mysql> SHOW STATUS LIKE “handler_read_rnd_next”;
+———————–+———–+
| Variable_name         | Value     |
+———————–+———–+
| Handler_read_rnd_next | 165959471 |
+———————–+———–+
1 row in set (0.00 sec)

Handler_read_rnd_next / Com_select 得出了表掃描比率 —— 在本例中是 521:1。如果該值超過 4000，就應該查看 read_buffer_size，例如 read_buffer_size = 4M。如果這個數字超過了 8M，就應該與開發人員討論一下對這些查詢進行調優了！

3 個必不可少的工具

儘管在瞭解具體設定時，SHOW STATUS 命令會非常有用，但是您還需要一些工具來解釋 mysqld 所提供的大量資料。我發現有 3 個工具是必不可少的；在 參考資料 一節中您可以找到相應的連結。

大部分系統管理員都非常熟悉 top 命令，它為任務所消耗的 CPU 和記憶體提供了一個不斷更新的視圖。 mytop 對 top 進行了模擬；它為所有串連上的客戶機以及它們正在啟動並執行查詢提供了一個視圖。mytop 還提供了一個有關關鍵字緩衝區和查詢快取效率的即時資料和曆史資料，以及有關正在啟動並執行查詢的統計資訊。這是一個很有用的工具，可以查看系統中（比如 10 秒鐘之內）的狀況，您可以獲得有關伺服器健康資訊的視圖，並顯示導致問題的任何串連。

mysqlard 是一個串連到 MySQL 伺服器上的精靈，負責每 5 分鐘搜集一次資料，並將它們儲存到背景一個 Round Robin Database 中。有一個 Web 頁面會顯示這些資料，例如表緩衝的使用方式、關鍵字效率、串連上的客戶機以及暫存資料表的使用方式。儘管 mytop 提供了伺服器健康資訊的快照，但是 mysqlard 則提供了長期的健康資訊。作為獎勵，mysqlard 使用自己搜集到的一些資訊針對如何對伺服器進行調優給出一些建議。

搜集 SHOW STATUS 資訊的另外一個工具是 mysqlreport。其報告要遠比 mysqlard 更加複雜，因為需要對伺服器的每個方面都進行分析。這是對伺服器進行調優的一個非常好的工具，因為它對狀態變數進行適當計算來協助確定需要修正哪些問題。

以上內容轉自這裡