最佳化mysql主從下的slave延遲問題

標籤：

 

 

一般而言，slave相對master延遲較大，其根本原因就是slave上的複製線程沒辦法真正做到並發。簡單說，在master上是併發模式（以InnoDB引擎為主）完成事務提交的，而在slave上，複製線程只有一個sql thread用於binlog的apply，所以難怪slave在高並發時會遠落後master。

ORACLE MySQL 5.6版本開始支援多線程複製，配置選項 slave_parallel_workers 即可實現在slave上多線程並發複製。不過，它只能支援一個執行個體下多個 database 間的並發複製，並不能真正做到多表並發複製。因此在較大並發負載時，slave還是沒有辦法及時追上master，需要想辦法進行最佳化。

另一個重要原因是，傳統的MySQL複製是非同步（asynchronous）的，也就是說在master提交完後，才在slave上再應用一遍，並不是真正意義上的同步。哪怕是後來的Semi-sync Repication（半同步複製），也不是真同步，因為它只保證事務傳送到slave，但沒要求等到確認事務提交成功。既然是非同步，那肯定多少會有延遲。因此，嚴格意義上講，MySQL複製不能叫做MySQL同步（處女座的面試官有可能會在面試時把說成MySQL同步的一律刷掉哦）。

另外，不少人的觀念裡，slave相對沒那麼重要，因此就不會提供和master相同配置層級的伺服器。有的甚至不但使用更差的伺服器，而且還在上面跑多執行個體。

綜合這兩個主要原因，slave想要儘可能及時跟上master的進度，可以嘗試採用以下幾種方法：

（1）採用MariaDB發行版，它實現了相對真正意義上的並行複製，其效果遠比ORACLE MySQL好的很多。在我的情境中，採用MariaDB作為slave的執行個體，幾乎總是能及時跟上master。如果不想用這個版本的話，那就老實等待官方5.7大版本發布吧；
關於MariaDB的Parallel Replication具體請參考：Replication and Binary Log Server System Variables#slave_parallel_threads – MariaDB Knowledge Base
（2）每個表都要顯式指定主鍵，如果沒有指定主鍵的話，會導致在row模式下，每次修改都要全表掃描，尤其是大表就非常可怕了，延遲會更嚴重，甚至導致整個slave庫都被掛起，可參考案例：mysql主鍵的缺少導致備庫hang；
（3）應用程式端多做些事，讓MySQL端少做事，尤其是和IO相關的活動，例如：前端通過記憶體CACHE或者本地寫隊列等，合并多次讀寫為一次，甚至消除一些寫請求；
（4）進行合適的分庫、分表策略，減小單庫單表複製壓力，避免由於單庫單表的的壓力導致整個執行個體的複寫延遲；
（5）其他提高IOPS效能的幾種方法，根據效果優劣，我做了個簡單排序：
1.更換成SSD，或者PCIe SSD等IO裝置，其IOPS能力的提升是普通15K SAS盤的數以百倍、萬倍，甚至幾十萬倍計；
2.加大實體記憶體，相應提高InnoDB Buffer Pool大小，讓更多熱資料放在記憶體中，降低發生物理IO的頻率；
3.調整檔案系統為 XFS 或 ReiserFS，相比ext3可以極大程度提高IOPS能力。在高IOPS壓力下，相比ext4有更穩健的IOPS表現（有人認為 XFS 在特別的情境下會有很大的問題，但我們除了剩餘磁碟空間少於10%時引發丟資料外，其他的尚未遇到）；
4.調整RAID層級為raid 1+0，它相比raid1、raid5等更能提高IOPS效能。如果已經全部是SSD裝置了，可以2塊盤做成RAID 1，或者多快盤做成RAID （並且可以設定全域熱備盤，提高陣列容錯性），甚至有些土豪使用者直接將多塊SSD盤組成RAID 50；
5.調整RAID的寫cache策略為WB或FORCE WB，詳情請參考：常用PC伺服器陣列卡、硬碟健康監控 以及 PC伺服器陣列卡管理簡易手冊；
6.調整核心的io scheduler，優先使用deadline，如果是SSD，則可以使用noop策略，相比預設的cfq，個別情況下對IOPS的效能提升至少是數倍的。

最佳化mysql主從下的slave延遲問題