MySQL pt-table-checksum及pt-table-sync校正及修複主從一致性

標籤：語句   replicat   指定元素   test   負載   diff   資料庫   family   技術   

【pt-table-checksum】
pt-table-checksum是percona-toolkit系列工具中的一個， 可以用來檢測主、 從資料庫中資料的一致性。其原理是在主庫上運行， 對同步的表進行checksum， 記錄下來。 然後對比主從中各個表的checksum是否一致， 從而判斷資料是否一致。檢測過程中以塊為單位， 對於大的表可以區分為多個塊， 從而避免鎖表（ 根據唯一索引將表切分為塊）檢測時會自動判斷複寫延遲、 master的負載， 超過閥值後會自動將檢測暫停。

【pt-table-sync】
pt-table-sync，顧名思義，它用來修複多個執行個體之間資料的不一致。它可以讓主從的資料修複到最終一致，也可以使通過應用雙寫或多寫的多個不相關的資料庫執行個體修複到一致。同時它還內部整合了pt-table-checksum的校正功能，可以一邊校正一邊修複，也可以基於pt-table-checksum的計算結果來進行修複。

 

• 校正（Master伺服器運行）

pt-table-checksum --nocheck-binlog-format --nocheck-plan --nocheck-replication-filters --replicate=pt.checksums --set-vars innodb_lock_wait_timeout=120 --databases newtable -u‘checksums‘ -p‘checksums‘ -h10.1.1.6#-h -u -p -P -S -d 串連資訊#--nocheck-replication-filters 檢測中忽略mysql 配置參數binlog_ignore_db等。#--nocheck-binlog-format 不檢測日誌格式#--replicate 指定checksum 儲存的db和表， 如test.checksum# --chunk-size， --chunk-size-limit 用於指定檢測塊的大小。 可控性更強# --ignore-databases/tables/column 跳出指定元素的過濾# --lock-wait-timeout innodb 鎖的逾時設定， 預設為1# --max-load 設定最大並發串連數# --replicate-check-only 只輸出資料不一致的資訊。# --help 有這個就行了， 以及其他的詳見文檔。備忘：--no-check-binlog-format 忽略檢查binlog格式，否則會報錯，預設會去檢查statement模式，一般我們都用row模式

　　

TS ：完成檢查的時間。
ERRORS ：檢查時候發生錯誤和警告的數量。
DIFFS ：0表示一致，1表示不一致。當指定--no-replicate-check時，會一直為0，當指定--replicate-check-only會顯示不同的資訊。
ROWS ：表的行數。
CHUNKS ：被劃分到表中的塊的數目。
SKIPPED ：由於錯誤或警告或過大，則跳過塊的數目。
TIME ：執行的時間。
TABLE ：被檢查的表名。

備忘：主要觀察DIFFS列，標識差異數。

 

• 查看差異（Slave庫運行） 

select db, tbl, sum(this_cnt) as total_rows, count(*) as chunks   from checksums where ( master_cnt <> this_cnt OR master_crc <> this_crc OR isnull(master_crc) <> isnull(this_crc) ) group by db, tbl; 

　　

• 複製，消除差異（Master伺服器運行）

假設newtables資料庫tb1表存在差異

i.自動消除差異（不推薦）pt-table-sync --print --execute --sync-to-master h=10.1.1.7,P=3306,u=checksums,p=‘checksums‘ --databases=newtables --tables=tb1ii.列印出sql語句，人工幹預到Slave庫執行（推薦）pt-table-sync --print --sync-to-master h=10.1.1.7,P=3306,u=checksums,p=‘checksums‘ --databases=newtables --tables=tb1pt-table-sync --print --sync-to-master h=10.1.1.7,P=3306,u=checksums,p=‘checksums‘--replicate pt.checksums#--sync-to-master ：指定一個DSN，即從的IP，他會通過show processlist或show slave status 去自動的找主。#--replicate ：指定通過pt-table-checksum得到的表，這2個工具差不多都會一直用。#--print ：列印，但不執行命令。#--execute ：執行命令。

　　備忘：Slave需要授權主庫Drop 和Create Temporary Tables許可權

 

• 檢驗

      重新執行一次pt-table-checksum，查看是否還存在差異。

MySQL pt-table-checksum及pt-table-sync校正及修複主從一致性