MySQL主從同步原理

標籤：持久化   應用   宕機   mysql高可用性   gpo   log檔案   增強   開始   檔案中   

MySQL主從同步原理 轉自部落格園-Aiapple：http://www.cnblogs.com/Aiapple/p/5792939.html  主從形式 mysql主從複製 靈活

• 一主一從
• 主主複製
• 一主多從---擴充系統讀取的效能，因為讀是在從庫讀取的；
• 多主一從---5.7開始支援
• 聯級複製---

   用途及條件 mysql主從複製用途

• 即時災備，用於故障切換
• 讀寫分離，提供查詢服務
• 備份，避免影響業務

 主從部署必要條件：

• 主庫開啟binlog日誌（設定log-bin參數）
• 主從server-id不同
• 從程式庫伺服器能連通主庫

  主從原理mysql主從複製原理 

 

1）開啟binlog後，主庫會產生一個 log dump 線程，用來給從庫I/O線程傳binlog；2）開啟slave後，從庫產生兩個線程，一個I/O線程，一個SQL線程；3）I/O線程會去請求主庫的binlog，並將得到的binlog日誌寫到relay log（中繼日誌） 檔案中；4）SQL線程會去讀取relay log檔案中的日誌，並解析成具體操作，來實現主從的操作一致，而最終資料一致；  問題及解決方案 mysql主從複製存在的問題：

• 主庫宕機後，資料可能丟失
• 從庫只有一個sql Thread，主庫寫壓力大，複製很可能延時

 解決方案：

• 半同步複製---解決資料丟失的問題
• 並行複製----解決從庫複寫延遲的問題

  半同步複製 mysql semi-sync（半同步複製）半同步複製：

• 5.5整合到mysql，以外掛程式的形式存在，需要單獨安裝
• 確保事務提交後binlog至少傳輸到一個從庫
• 不保證從庫應用完這個事務的binlog
• 效能有一定的降低，回應時間會更長
• 網路異常或從庫宕機，卡主主庫，直到逾時或從庫恢複

 主從複製--非同步複製原理

 

半同步複製原理： 

 

並行複製 mysql並行複製

• 社區版5.6中新增
• 並行是指從庫多線程apply binlog
• 庫層級並行應用binlog，同一個庫資料更改還是串列的(5.7版並行複製基於事務組)

設定

set global slave_parallel_workers=5;

設定sql線程數為5   其他 部分資料複製主庫添加參數：

binlog_do_db=db1binlog_ignore_db=db1binlog_ignore_db=db2

或從庫添加參數

replicate_do_db=db1replicate_ignore_db=db1replicate_do_table=db1.t1replicate_wild_do_table=db%.%replicate_wild_ignore_table=db1.%

 級聯複製（常用）A->B->CB中添加參數：

log_slave_updatesB將把A的binlog記錄到自己的binlog日誌中

 

複製的監控：

show  slave status \G

 

複製出錯處理常見：1062（主鍵衝突），1032（記錄不存在）解決：

• 手動處理
• 跳過複製錯誤：set global sql_slave_skip_counter=1

    總結 

• 主從形式
• • 一主一從
  • 一主多從--擴充系統讀取效能
  • 多主一從--5.7開始支援
  • 主主複製
  • 聯級複製
• 用途：即時災備的故障切換，讀寫分離，備份
• 原理
• • 主：log dump線程傳binlog；
  • 從
  • • i/o線程接受讀取binlog，並寫入relay log檔案
    • sql線程從relay log 檔案中讀取binlog並持久化
• 問題及解決
• • 主庫宕機後，資料丟失
  • • 半同步複製
  • 主庫寫壓力大，因從庫只有一個sql 線程來持久化，複製可能延遲
  • • 並行複製
• 半同步複製：
• • 原理
  • • 事務在主庫寫完binlog後需要從庫返回一個已接受，才放回給用戶端；
  • 5.5整合到mysql，以外掛程式的形式存在，需要單獨安裝
  • 確保事務提交後binlog至少傳輸到一個從庫
  • 不保證從庫應用完成這個事務的binlog
  • 效能有一定的降低
  • 網路異常或從庫宕機，卡主庫，直到逾時或從庫恢複
• 並行複製
• • 原理：從庫多線程apply binlog
  • 在社區5.6中新增
  • 庫層級並行應用binlog，同一個庫資料更改還是串列的
  • 5.7版本並行複製基於事務組
• 部分資料複製
• 級聯複製（常用）
• • A->B->C
  • B中添加參數log_slave_updates
  • B將把A的binlog記錄到自己的binlog日誌中
• 複製的監控
• • show slave status
• 複製出錯處理
• • 常見：1062（主鍵衝突），1032（記錄不存在）
  • 解決：
  • • 手動處理
    • 跳過複製錯誤：set global sql_slave_skip_counter=1
• mysql主從複製是mysql高可用性，高效能（負載平衡）的基礎
• 簡單，靈活，部署方式多樣，可以根據不同業務情境部署不同複製結構
• 複製過程中應該時刻監控複製狀態，複製出錯或延時可能給系統造成影響
• mysql主從複製目前也存在一些問題，可以根據需要部署複製增強功能

 

MySQL主從同步原理