使用Percona Toolkit解決Mysql主從不同步問題【備忘】

標籤：

由於各種原因，mysql主從架構經常會出現資料不一致的情況出現，大致歸結為如下幾類

• 1:備庫寫資料
• 2:執行non-deterministic query
• 3:復原摻雜事務表和非事務表的事務
• 4:binlog或者relay log資料損毀

資料不同步給應用帶來的危害是致命的，當出現主從資料不一致的情況，常見的應對方法是先把從庫下線，然後找個半夜三更的時間把應用停掉，重新執行同步，如果資料庫的體積十分龐大，那工作量可想而知，會讓人崩潰。本文介紹使用percona-toolkit工具對mysql主從資料庫的同步狀態進行檢查和重新同步。

一：安裝percona-toolkit

1. # yum -y install perl-Time-HiRes 
2. # wget 
3. http://www.percona.com/downloads/percona-toolkit/2.2.13/tarball/percona-toolkit-2.2.13.tar.gz 
4. # tar -zxvpf percona-toolkit-2.2.13.tar.gz 
5. # cd percona-toolkit-2.2.13 
6. # perl Makefile.PL 
7. # make 
8. # make install 

二：修改mysql 的binlog格式binlog_format參數為row格式

mysql binlog日誌有三種格式，分別為Statement, Mixed,以及ROW！

1.Statement：

每一條會修改資料的sql都會記錄在binlog中。

優點：不需要記錄每一行的變化，減少了binlog日誌量，節約了IO，提高效能。(相比row能節約多少效能與日誌量，這個取決於應用的SQL情況，正常同一條記錄修改或者插入row格式所產生的日誌量還小於Statement產生的日誌量，但是考慮到如果帶條件的update操作，以及整表刪除，alter表等操作，ROW格式會產生大量日誌，因此在考慮是否使用ROW格式日誌時應該跟據應用的實際情況，其所產生的日誌量會增加多少，以及帶來的IO效能問題。)

缺點：由於記錄的只是執行語句，為了這些語句能在slave上正確運行，因此還必須記錄每條語句在執行的時候的一些相關資訊，以保證所有語句能在slave得到和在master端執行時候相同 的結果。另外mysql 的複製,像一些特定函數功能，slave可與master上要保持一致會有很多相關問題(如sleep()函數， last_insert_id()，以及user-defined functions(udf)會出現問題).

2.Row

不記錄sql語句上下文相關資訊，僅儲存哪條記錄被修改。

優點： binlog中可以不記錄執行的sql語句的上下文相關的資訊，僅需要記錄那一條記錄被修改成什麼了。所以rowlevel的日誌內容會非常清楚的記錄下每一行資料修改的細節。而且不會出現某些特定情況下的預存程序，或function，以及trigger的調用和觸發無法被正確複製的問題

缺點:所有的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄，這樣可能會產生大量的日誌內容,比如一條update語句，修改多條記錄，則binlog中每一條修改都會有記錄，這樣造成binlog日誌量會很大，特別是當執行alter table之類的語句的時候，由於表結構修改，每條記錄都發生改變，那麼該表每一條記錄都會記錄到日誌中。

3.Mixed

是以上兩種level的混合使用，一般的語句修改使用statment格式儲存binlog，如一些函數，statement無法完成主從複製的操作，則採用row格式儲存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式，也就是在Statement和Row之間選擇一種.新版本的MySQL中隊row level模式也被做了最佳化，並不是所有的修改都會以row level來記錄，像遇到表結構變更的時候就會以statement模式來記錄。至於update或者delete等修改資料的語句，還是會記錄所有行的變更。

主從資料庫分別修改my.cnf檔案相關配置項如下：

1. binlog_format=ROW

 

三：使用pt-table-checksum工具檢查資料一致性情況

用法參考：

假設192.168.1.205是主庫，192.168.1.207是它的從庫，連接埠在3306。

1. 先校正

1. # pt-table-checksum --user=root --password=123456 \ 
2. --host=192.168.1.205 --port=3306 \ 
3. --databases=test --tables=t2 --recursion-method=processlist \ 
4. --no-check-binlog-format --nocheck-replication-filters \ 
5. --replicate=test.checksums 

2. 根據校正結果，只修複192.168.1.207從庫與主庫不一致的地方：

1. # pt-table-sync --execute --replicate \ 
2. test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456 

3. 修複後，再重新校正一次。執行第一步的語句即可。

4. 檢查修複結果： 登陸到192.168.1.207，執行如下sql語句返回若為空白，則說明修複成功：

1. SELECT 
2. * 
3. FROM 
4. test.checksums 
5. WHERE 
6. master_cnt <> this_cnt 
7. OR master_crc <> this_crc 
8. OR ISNULL(master_crc) <> ISNULL(this_crc) 

各參數含義

• --nocheck-replication-filters:不檢查複製過濾器，建議啟用。後面可以用--databases來指定需要檢查的資料庫。
• --no-check-binlog-format:不檢查複製的binlog模式，要是binlog模式是ROW，則會報錯。
• --replicate-check-only:只顯示不同步的資訊。
• --replicate=:把checksum的資訊寫入到指定表中，建議直接寫到被檢查的資料庫當中。
• --databases=:指定需要被檢查的資料庫，多個則用逗號隔開。
• --tables=：指定需要被檢查的表，多個用逗號隔開
• h=127.0.0.1:Master的地址
• u=root:使用者名稱
• p=123456:密碼
• P=3306:連接埠

 

下面我們來類比下主從資料庫不同步情況下的pt-table-checksum，為了方便，這裡我們採用test schema

1: 主庫上建表，插入測試資料

1. mysql> create table t2 (id int primary key,name varchar(100) not null,salary int); 
2. mysql> CREATE PROCEDURE test_insert () 
3. BEGIN 
4. DECLARE i INT DEFAULT 0; 
5. WHILE i<10000 
6. DO 
7. INSERT INTO t2 
8. VALUES 
9. (i,CONCAT(‘員工‘,i), i); 
10. SET i=i+1; 
11. END WHILE ; 
12. END;; 
13. mysql> CALL test_insert(); 

從庫上校正當前資料的同步情況為正常。

從庫上刪除一半的資料

1. mysql> delete from t2 where id > 5000; 
2. Query OK, 4999 rows affected (0.14 sec) 
3.  
4. mysql> select count(*) from t2; 
5. +----------+ 
6. | count(*) | 
7. +----------+ 
8. | 5001 | 
9. +----------+ 
10. 1 row in set (0.01 sec)

2：使用pt-table-checksum工具進行校正：

1. # pt-table-checksum --user=root --password=123456 \ 
2. --host=192.168.1.205 --port=3306 \ 
3. --databases=test --tables=t2 --recursion-method=processlist \ 
4. --no-check-binlog-format --nocheck-replication-filters \ 
5. --replicate=test.checksums

3：登陸從庫進行查詢checksum表

1. mysql> SELECT 
2. * 
3. FROM 
4. test.checksums 
5. WHERE 
6. master_cnt <> this_cnt 
7. OR master_crc <> this_crc 
8. OR ISNULL(master_crc) <> ISNULL(this_crc)

4：使用pt-table-sync工具進行資料重新同步

1. # pt-table-sync --execute --replicate \ 
2. test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456 

5：從庫上驗證資料，中文“員工”變成了“??”

檢查主庫，發現出現一樣的情況，中文“員工”變成了“??”，猜想和字元集設定相關。

於是檢查資料庫字元集設定，發現test庫字元集非utf8

主從庫my.cnf檔案添加如下配置項後重啟資料庫執行個體

1. character_set_client=utf8 
2. character_set_server=utf8

重新執行以上1-4步，發現一切正常！關鍵第4步要加--charset=utf8 參數

1. # pt-table-sync --execute --replicate \ 
2. test.checksums --charset=utf8 \ 
3. --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
   

使用Percona Toolkit解決Mysql主從不同步問題【備忘】