MySQL主從同步加速 Transfer-- FAQ

Q: Transfer是什麼

A: 是一個解決MySQL原生主從同步延遲的方案。 Transfer本身是一個在MySQL源碼上打的patch，可以用於當Slave，也可以用於當第三方工具，將Master的資料同步發給Slave。 利用多線程實現主從無延遲。

Q: Transfer目前的發布形式？

A: Transfer會在今年內開源，目前的發布形式是可執行檔mysqld檔案。 有兩個版本，分別是官方的5.1.48 和 Percona Server 5.5.18.

Transfer.MySQL.5.1.48    md5: 4d49f8d90e8bee8c870c1ef3a38cc979

Transfer.Percona.5.5.18   md5: f4783971c38008e0780cca44a97368eb

最後更新日期 2012.9.12

(下載後先對一下md5 ^_^)

Q: Transfer是否會改變主庫上的binlog在從庫上的執行順序，導致資料不一致？

A：會改變執行順序。但Transfer保證對於相同記錄的操作都是按順序的，因此不會導致資料不一致。

Q: 我使用了transfer模式，但是transfer的錯誤記錄檔為什麼一直在輸出 "trans->inner_events 3"，而從庫上沒有更新？

A: Transfer啟動前需要保證Transfer裡面要有與slave上相同的表和表結構，請先確認下，若無，則需要從slave把schema都dump 過去。

 

Q: 我用的是mysql5.1.48版本，我在transfer裡面建表的時候會core dump

A: 若你用的是innodb_plugin版本，還需要替換ha_innodb_plugin.so.0.0.0 (lib/mysql/plugin 目錄下)

 

Q: 需要配置上做什麼改變

A：請參考此文

 

Q: 對主從庫有什麼配置限制

A：有以下限制

     1) 主庫的binlog格式必須是row

     2) 主庫的表必須有primary key

     3) 從庫的 max_allowed_packet建議改為1G。主庫的單個事務大小不能超過max_allowed_packet

 

Q: 我覆蓋了mysqld後，Transfer整個執行個體起不來？

A：先確認一下mysqld是否有可執行許可權， 若無，執行 chmod 755 mysqld.

 

Q: 我用slave模式，能夠隨時替換回原來的版本嗎？

A: 如果要隨時替換回原來的版本，可以把增加的參數都加上loose_首碼，這樣替換mysqld，重啟，start slave，就可以了。

 

Q: 什麼情況下不適合用Transfer？

A: 其實一個簡單的原則，如果你的原生從庫不延遲，就不需要用(貌似是廢話).

 

Q: 我的測試情境下transfer的TPS比原生的還慢？感謝 @-周博

A:  若是從空表開始壓力，並且你的BP開很大，io效能很好，更新語句簡單，qps很高(這個case裡是12w/s)，此時單線程完全能夠執行得飛快。Transfer模型中的生產+消費環節和多線程爭用反而會導致效能下降(在這個case裡面是6w/s)。

在實際線上情境中，更多的情況是io瓶頸，此時才能利用好多線程的效果，Transfer的效果才能體現出來。在我們一個線上情境的測試中是原生500/s，用Transfer後6000/s.

PS: 個人比較建議用源碼安裝，Percona Server的 源碼地址 

我的cmake參數

CFLAGS="-O3 -g -fno-exceptions -static-libgcc -fno-omit-frame-pointer -fno-strict-aliasing"
CXX=gcc
CXXFLAGS="-O3 -g -fno-exceptions -fno-rtti -static-libgcc -fno-omit-frame-pointer -fno-strict-aliasing"
export CFLAGS CXX CXXFLAGS
#cmake . -DCMAKE_INSTALL_PREFIX=/home/dingqi.lxb/mysql5 -DEXTRA_CHARSETS=all
cmake . \
  -DCMAKE_BUILD_TYPE:STRING=Release             \
  -DSYSCONFDIR:PATH=/home/mysql5            \
  -DCMAKE_INSTALL_PREFIX:PATH=/home/mysql5  \
  -DENABLED_PROFILING:BOOL=ON                   \
  -DENABLE_DEBUG_SYNC:BOOL=OFF                  \
  -DMYSQL_DATADIR:PATH=/home/dingqi.lxb/mysql5/data    \
  -DMYSQL_MAINTAINER_MODE:BOOL=OFF              \
  -DWITH_EXTRA_CHARSETS:STRING=all  \
  -DWITH_BIG_TABLES:BOOL=ON \
  -DWITH_FAST_MUTEXES:BOOL=ON \
  -DENABLE-PROFILING:BOOL=ON \
  -DWITH_SSL:STRING=bundled                     \
  -DWITH_UNIT_TESTS:BOOL=OFF                    \
  -DWITH_ZLIB:STRING=bundled                    \
  -DWITH_PARTITION_STORAGE_ENGINE:BOOL=ON       \
  -DWITH_PLUGINS=heap,csv,partition,innodb_plugin,myisam \
  -DDEFAULT_CHARSET=gbk -DDEFAULT_COLLATION=gbk_chinese_ci -DWITH_EXTRA_CHARSETS=ALL \
  -DENABLED_ASSEMBLER:BOOL=ON                   \
  -DENABLED_LOCAL_INFILE:BOOL=ON                \
  -DENABLED_THREAD_SAFE_CLIENT:BOOL=ON          \
  -DENABLED_EMBEDDED_SERVER:BOOL=OFF             \
  -DWITH_CLIENT_LDFLAGS:STRING=all-static                 \
  -DINSTALL_LAYOUT:STRING=STANDALONE            \
  -DCOMMUNITY_BUILD:BOOL=ON;