Mysql最佳化之問題定位，mysql最佳化定位

Mysql最佳化之問題定位，mysql最佳化定位
Mysql最佳化之問題定位

先扯淡下，很久沒有來csdn寫部落格了， 最近在學燕18的mysql最佳化，並且這位老師講的高達上還接地氣，  今天剛好有空可以來總結這段時間學到的東西

先上一張流程圖（這張圖引自燕18的教程）

當遇到一台db伺服器有問題的時候， 首先不是去看代碼哪裡有問題， 想sql語句是否寫，表的結構是否合理之類的問題；而是需要從宏觀的角度去看哪些地方有問題

第一步找出伺服器問題所在， 是否是硬體有瓶頸如果一台伺服器硬體本身就不好， 只能承受100M的io讀寫， 如果你非要它提供的io達到200M， 那麼就算你怎麼最佳化也搞不定是吧， 那麼我們首先需要基準測試需要安裝sysbench，它提供了cpu， Io， memory, mysql等效能的測試， ；
1.cpu測試sysbench --test=cpu --cpu-max-prime=2000000 run 2.io測試

sysbench --test=fileio --num-threads=16 --file-total-size=3G --file-test-mode=rndrw preparesysbench --test=fileio --num-threads=16 --file-total-size=3G --file-test-mode=rndrw runsysbench --test=fileio --num-threads=16 --file-total-size=3G --file-test-mode=rndrw cleanup

3.OLTP測試
sysbench --test=oltp --mysql-table-engine=myisam --oltp-table-size=1000000 --mysql-socket=/tmp/mysql.sock --mysql-user=test --mysql-host=localhost --mysql-password=test prepare
通過這些測試之後差不過也能知道自己伺服器的能力了， 如果探索服務器的效能不錯， 但是依然不能滿足使用者的需求， 那麼就只能是軟體方面的問題了， 就需要定位到底是哪一塊有問題
第二步， 觀察mysql在某段時間的串連狀態， 處理狀態如果硬體問題不大， 那麼我們就需要觀察mysql的狀態了， 一般這個狀態不是一時半會兒能搞定的， 都是需要寫個指令碼在後台記錄mysql在某一個周期的壓力值記錄， 比如是一天， 一周為一個周期；查看mysql的狀態命令是show status;這個命令返回好幾百行的東西， 而我們只需要關注3行1.Queries， 當前已經發生過的查詢（可以用兩個時間段的查詢數量相減得到時間段內的查詢數）2.Threads_connected ，當前有多少個串連連上mysql3. Threads_running， 當前有幾個線程正在運行通常是Threads_connected >= Threads_running, 因為連上mysql也不一定要工作， 可能阻塞， 掛起之類的擷取結果1.我們寫個指令碼每隔一秒去讀取這三個數追加到mysql.status檔案裡面2. 用ab工具類比訪問，用50個並發， 發送20000個請求（這個頁面的每一次請求會多次訪問mysql）， 這樣就能使上面那個指令碼得到結果了ab -c 50 -n 2000 http://59.69.128.203/JudgeOnline/nyistoj/index.php/Problem/index我們來查看這個mysql.status檔案的內容我們用上一行的第一個值減去下一行的第一個值就可以得到每一秒的訪問mysql數量，差不多是1000+， 也可以看出基本上是有50個串連的， 平均用兩個線程在處理請求；可以再次寫一個指令碼做一下處理這樣就得到每一秒的處理數量， 1000多一點兒， 貌似不咋好的感覺結果分析1. 訪問mysql的頻率很穩定（如）， 那就從mysql的其它部分最佳化， 比如表的結構， sql語句的最佳化， mysql的配置， 引擎的選擇， 索引的最佳化等2.mysql的訪問頻率呈周期性的變化（如）， 那麼就是從峰值上最佳化；比如memcatch是否都是周期性失效， 那麼就可以用隨機方式讓失效地更加均勻， 或者是讓他在晚上3點左右失效， 這個時候的訪問量不大， 到了第二天時memcatch的緩衝也基本上建立好了；或者是從業務角度最佳化， 比如12306的放票， 可以分省分時間段分批放票， 這樣就避免了全國各地大家集體搶票帶來的超高峰值； 也可以在高峰期的時候開啟慢查詢， processlist等工具分析到具體的sql語句；
三. 查看mysql進程的狀態如果需要知道mysql這個進程對處理sql語句的整體情況， 那麼我們需要用到show processlist 這個工具，這個工具主要是能夠記錄下來每一條sql執行的過程；我們寫一個指令碼抓取status， 然後整體看看我們的mysql進程花的時間基本上都是在幹什麼；show processlist\G

這裡的Status狀態可能情況比較多， 不過我們主要是關注如下幾個狀態：1. Create tmp table； 建立暫存資料表， 比如用了右串連就會建立一張暫存資料表2. Sending Data ； 發送資料， 比如limit 1， 1000； 那麼這樣就會傳送大量的資料而花費時間， 可以limit小一點兒3. SortIng for Group； 正在為分組排序， 這個時候就最佳化一般是藉助複合索引4. Copying to tmp table on desk; 正在將記憶體的表拷貝的硬碟， 主要是表太大， 比如join一下就產生很大的表只能放硬碟了， 避免join5. Locked; 鎖住資料， 事務性方面最佳化， 能不用事務就不用6. Converting HEAP to MyISAM; 查詢的結果太大， 正在想硬碟存結果； 最佳化就是盡量一次稍差點兒資料， 比如新聞列表的讀取一次少讀點兒， 讀者很少一次性讀到幾百條以後；那麼我們寫一個指令碼抓取這些status:

然後處理下mysql.process;

就能得到如下結果了：

可以看出很多次都是花在了Copying to tmp table ，Sending data, Sort result 的次數不少, 可以大致知道是商務邏輯導致需要取出的資料比較多， 可以變化業務或者做緩衝伺服器擋在mysql前面；
看看 Copying to tmp table;首先開啟profiles;
開啟監控， 開啟這個開關之後就能為sql的執行的每一個階段拍快照， 這樣我們就能清楚得找知道sql的執行過程， 具體花時間在哪個階段了， 再有針對性的最佳化

然後執行sql就會被記錄了，

再用show profiles得到剛才語句的id;

就能知道該語句的id是27， 花了6秒多，查看id為26的具體內容：


現在我們知道了這條sql花時間在拷貝到硬碟與排序， 因為我們有了三次join， 而這些join的同時用了title排序， 導致無法索引覆蓋，從而需要回行到硬碟中的資料這樣就導致了一張非常大的表而無法放入到記憶體中， 只能放到硬碟了；然後再有針對性的最佳化就行了這條sql；總結：經過上面的幾步， 我們已經能逐步能能夠定位我們的伺服器哪個地方出了問題，是伺服器本身不夠強， 或者是周期性的問題， 或者就是自己的代碼或者表結構不夠好， 或者是商務邏輯之類的問題， 後面我們主要是針對具體的問題最佳化， 這個是下一篇的內容了

mysql查詢語句最佳化問題

是可以最佳化的，前提是：編程高手+原始碼齊全，否則不可能實現。

最簡單的最佳化，就是刪除曆史資料和拆分：刪除曆史資料、多餘資料，是最有效，另外一個大庫拆成幾個小庫也是不錯的效果。
 
mysql最好的最佳化技巧

1、選取最適用的欄位屬性

MySQL 可以很好的支援大資料量的存取，但是一般說來，資料庫中的表越小，在它上面執行的查詢也就會越快。因此，在建立表的時候，為了獲得更好的效能，我們可以將表中欄位的寬度設得儘可能小。例如，在定義郵遞區號這個欄位時，如果將其設定為CHAR(255),顯然給資料庫增加了不必要的空間，甚至使用VARCHAR這種類型也是多餘的，因為CHAR(6)就可以很好的完成任務了。同樣的，如果可以的話，我們應該使用MEDIUMINT而不是BIGIN來定義整型欄位。

另外一個提高效率的方法是在可能的情況下，應該盡量把欄位設定為NOT NULL，這樣在將來執行查詢的時候，資料庫不用去比較NULL值。

對於某些文字欄位，例如“省份”或者“性別”，我們可以將它們定義為ENUM類型。因為在MySQL中，ENUM類型被當作數值型資料來處理，而數值型資料被處理起來的速度要比文本類型快得多。這樣，我們又可以提高資料庫的效能。

2、使用串連（JOIN）來代替子查詢(Sub-Queries)

MySQL 從4.1開始支援SQL的子查詢。這個技術可以使用SELECT語句來建立一個單列的查詢結果，然後把這個結果作為過濾條件用在另一個查詢中。例如，我們要將客戶基本資料表中沒有任何訂單的客戶刪除掉，就可以利用子查詢先從銷售資訊表中將所有發出訂單的客戶ID取出來，然後將結果傳遞給主查詢，如下所示：

DELETE FROM customerinfo
WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )

使用子查詢可以一次性的完成很多邏輯上需要多個步驟才能完成的SQL操作，同時也可以避免事務或者表鎖死，並且寫起來也很容易。但是，有些情況下，子查詢可以被更有效率的串連（JOIN）.. 替代。例如，假設我們要將所有沒有訂單記錄的使用者取出來，可以用下面這個查詢完成：

SELECT * FROM customerinfo
WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )

如果使用串連（JOIN）.. 來完成這個查詢工作，速度將會快很多。尤其是當salesinfo表中對CustomerID建有索引的話，效能將會更好，查詢如下：

SELECT * FROM customerinfo
LEFT JOIN salesinfoON customerinfo.CustomerID=salesinfo.
CustomerID
WHERE salesinfo.CustomerID IS NULL

串連（JOIN）.. 之所以更有效率一些，是因為 MySQL不需要在記憶體中建立暫存資料表來完成這個邏輯上的需要兩個步驟的查詢工作。

3、使用聯合(UNION)來代替手動建立的暫存資料表

MySQL 從 4.0 的版本開始支援 UNION 查詢，它可以把需要使用暫存資料表的兩條或更多的 SELECT 查詢合并的一個查詢中。在用戶端的查詢會話結束的時候，暫存資料表會被自動刪除，從而保證資料庫整齊、高效。使用 UNION 來建立查詢的時候，我們只需要用 UNION作為關鍵字把多個 SELECT 語句串連起來就可以了，要注意的是所有 SELECT 語句中的欄位數目要想同。下面的例子就示範了一個使用 UNION的查詢。

SELECT Name, Phone FROM client
UNION
SELECT Name, BirthDate FROM author......餘下全文>>