linux Mysql 主從複製 原理介紹和步驟詳解

標籤：linux   Mysql   主從複製   

大家好，我是霸王卸甲，今天我給大家帶來的是linux資料庫中的主從複製的簡單介紹和步驟詳解。主從複製

mysql主從複製 靈活

一主一從主主複製一主多從---擴充系統讀取的效能，因為讀是在從庫讀取的；多主一從---5.7開始支援聯級複製---

用途及條件

mysql主從複製用途

即時災備，用於故障切換讀寫分離，提供查詢服務備份，避免影響業務

主從部署必要條件：

主庫開啟binlog日誌（設定log-bin參數）主從server-id不同從程式庫伺服器能連通主庫

主從原理
mysql主從複製原理

從庫產生兩個線程，一個I/O線程，一個SQL線程；

i/o線程去請求主庫 的binlog，並將得到的binlog日誌寫到relay log（中繼日誌） 檔案中；
主庫會產生一個 log dump 線程，用來給從庫 i/o線程傳binlog；

SQL 線程，會讀取relay log檔案中的日誌，並解析成具體操作，來實現主從的操作一致，而最終資料一致；

問題及解決方案

mysql主從複製存在的問題：

主庫宕機後，資料可能丟失從庫只有一個sql Thread，主庫寫壓力大，複製很可能延時

解決方案：

半同步複製---解決資料丟失的問題並行複製----解決從庫複寫延遲的問題

半同步複製

mysql semi-sync（半同步複製）
半同步複製：

5.5整合到mysql，以外掛程式的形式存在，需要單獨安裝確保事務提交後binlog至少傳輸到一個從庫不保證從庫應用完這個事務的binlog效能有一定的降低，回應時間會更長網路異常或從庫宕機，卡主主庫，直到逾時或從庫恢複

主從複製--非同步複製原理

半同步複製原理：

並行複製

mysql並行複製

社區版5.6中新增並行是指從庫多線程apply binlog庫層級並行應用binlog，同一個庫資料更改還是串列的(5.7版並行複製基於事務組)

設定

set global slave_parallel_workers=10;

設定sql線程數為10

其他

部分資料複製
主庫添加參數：

binlog_do_db=db1
binlog_ignore_db=db1
binlog_ignore_db=db2

或從庫添加參數

replicate_do_db=db1
replicate_ignore_db=db1
replicate_do_table=db1.t1
replicate_wild_do_table=db%.%
replicate_wild_ignore_table=db1.%

聯級複製（常用）
A->B->C
B中添加參數：

log_slave_updates
B將把A的binlog記錄到自己的binlog日誌中

複製的監控：

show slave status \G

複製出錯處理
常見：1062（主鍵衝突），1032（記錄不存在）
解決：

手動處理跳過複製錯誤：set global sql_slave_skip_counter=1

總結

主從形式    一主一從    一主多從--擴充系統讀取效能    多主一從--5.7開始支援    主主複製    聯級複製用途：即時災備的故障切換，讀寫分離，備份原理    主：log dump線程傳binlog；    從        i/o線程接受讀取binlog，並寫入relay log檔案        sql線程從relay log 檔案中讀取binlog並持久化問題及解決    主庫宕機後，資料丟失        半同步複製    主庫寫壓力大，因從庫只有一個sql 線程來持久化，複製可能延遲        並行複製半同步複製：    原理        事務在主庫寫完binlog後需要從庫返回一個已接受，才放回給用戶端；    5.5整合到mysql，以外掛程式的形式存在，需要單獨安裝    確保事務提交後binlog至少傳輸到一個從庫    不保證從庫應用完成這個事務的binlog    效能有一定的降低    網路異常或從庫宕機，卡主庫，直到逾時或從庫恢複並行複製    原理：從庫多線程apply binlog    在社區5.6中新增    庫層級並行應用binlog，同一個庫資料更改還是串列的    5.7版本並行複製基於事務組部分資料複製聯級複製（常用）    A->B->C    B中添加參數log_slave_updates    B將把A的binlog記錄到自己的binlog日誌中複製的監控    show slave status複製出錯處理    常見：1062（主鍵衝突），1032（記錄不存在）    解決：        手動處理        跳過複製錯誤：set global sql_slave_skip_counter=1mysql主從複製是mysql高可用性，高效能（負載平衡）的基礎簡單，靈活，部署方式多樣，可以根據不同業務情境部署不同複製結構複製過程中應該時刻監控複製狀態，複製出錯或延時可能給系統造成影響mysql主從複製目前也存在一些問題，可以根據需要部署複製增強功能

一主一從
步驟解析：

準備4台機器：
10.18.42.116 kvm4
10.18.42.79 kvm5
10.18.42.171 kvm6
10.18.42.69 kvm7
在/etc/hosts 進行解析

主機
1.在看kvm4中開啟二進位日誌，伺服器id gtid
vim /etc/my.cof
log-bin
server-id=1
gtid_mode=ON
enfore_gtid_consistency=1
重啟：
systemctl restart mysqld

2.授權複製使用者rep
grant replication slave,replication client on . to ‘rep‘@‘10.18.42.%‘ identified by ‘[email protected]‘;
重新整理：
flush privileges;

3.備份資料庫資料
mysqldump -p‘[email protected]‘ --all-databases --single-transaction --master-data=2 --flush-logs > date +%F-mysql-all.sql
用scp 傳到從機上 進行資料同步
scp 2018-1-1-mysql-all.sql kvm5:/tmp

4.類比資料變化 可作可不做 創表 創庫

從機
1.測試rep使用者是否可用
mysql -h kvm4 -urep -p‘[email protected]‘(注意防火牆應該關閉)

2 啟動二進位日誌，伺服器ID，GTID
vim /etc/my.cnf
log-bin
server-id=2
gtid_mode=ON
enforce_gtid_consistency=1
重啟資料庫
systemctl restart mysqld 測試組態是否有問題，如果啟動失敗。請檢查配置。

3.恢複手動同步資料
ls /tmp/2018-1-1-mysql-all.sql
進到庫中
set sql_log_bin=0;
source /tmp/2018-1-1-mysql-all.sql
查看資料是否同步 否則請重新操作

4.設定主伺服器
change master tobr/>master_host=‘kvm4‘,
master_user=‘rep‘,
master_password=‘[email protected]‘,
start slave;
show slave status\G;
查看
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
成功

5 返回主伺服器（kvm4）更新資料，在從伺服器（kvm5）觀察是否同步。

雙主雙從（MM-SS）
因為上邊已經完成了kvm4主 kvm5從
所以接下來作kvm5主 kvm4從

1.設定kvm5為kvm4的主伺服器
進入到kvm5中
change master tobr/>master_host=‘kvm4‘,
master_user=‘rep‘,
master_password=‘[email protected]‘,
重啟
start slave;
show slave status\G;
如果狀態不佳，重啟一下master2的mysqld

進行測試 互相建立資料 是否同步

2.同步現有資料庫
kvm4 mysqldump -p‘[email protected]‘ --all-databases --single-transaction --master-data=2 --flush-logs > date +%F-mysql-all.sql

用scp傳到kvm6 kvm7
scp -r 2018-1-1-mysql-all.sql kvm6:/tmp
scp -r 2018-1-1-mysql-all.sql kvm7:/tmp

kvm6 mysql -p‘[email protected]‘ < /tmp/2018-1-1-mysql-all.sql
kvm7 mysql -p‘[email protected]‘ < /tmp/2018-1-1-mysql-all.sql

3.啟動kvm6 kvm7的id gtid 主資訊存放庫=表 中繼日誌資訊存放庫=表
kvm6

vim /etc/my.cnf
server-id=3
gtid_mode=ON
enforce_gtid_consistency=1
master-info-repository=TABLE
relay-log-info-repository=TABLE

systemctl restart mysqld

kvm7

vim /etc/my.cnf
server-id=4
gtid_mode=ON
enforce_gtid_consistency=1
master-info-repository=TABLE
relay-log-info-repository=TABLE

systemctl restart mysqld

4.在kvm6 kvm7 中進行設定主伺服器
kvm6:
change master tobr/>master_host=‘kvm4‘,
master_user=‘rep‘,
master_password=‘[email protected]‘,

change master tobr/>master_host=‘kvm5‘,
master_user=‘rep‘,
master_password=‘[email protected]‘,

start slave;
show slave status\G;

kvm7:
change master tobr/>master_host=‘kvm4‘,
master_user=‘rep‘,
master_password=‘[email protected]‘,

change master tobr/>master_host=‘kvm5‘,
master_user=‘rep‘,
master_password=‘[email protected]‘,

start slave;
show slave status\G;

測試 資料是否同步

總結 ，出錯的幾個點 和 解決的辦法
Slave_IO_Running: no
Slave_SQL_Running: Yes

進入到資料庫
stop slave；
reset slave;
重新進行主從配置
start slave；
show slave status\G;

Slave_IO_Running: yes
Slave_SQL_Running: no

進入到show slave status\G;
Last_SQL_Errno: 1008 報錯1008
進入到設定檔跳過這個錯誤
vim /etc/my.cnf
slave-skip-errors=1008
重啟資料庫
進入資料庫
start slavr;
進行查看是show slave status\G;
這樣就跳過此錯誤
出去注釋掉 slave-skip-errors=1008
就可以了

1236是因為某種原因 造成的資料不同步
這樣 的話就進行手動同步
在主機器上重新備份發到從機器上
手動更新
重啟資料庫
進到資料庫
start slave；
start slave;
(打兩次)
雙 yes

以上就是今天的全部內容，主要是一主一從和雙主雙從，除了以上提到的問題還遇到新的問題可以私信我，我會在第一時間回複大家，謝謝大家。

linux Mysql 主從複製 原理介紹和步驟詳解