MySQL binlog 格式（Mixed，Statement，Row Level）

mysql replication binlog logging level

推薦用mixed，預設使用statement，基於上下文。 MySQL Replication複製可以是基於一條語句(Statement level)，也可以是基於一條記錄(Row level)，可以在MySQL的配置參數中設定這個複製層級，不同複製層級的設定會影響到Master端的bin-log記錄成不同的形式。 　　Row Level：日誌中會記錄成每一行資料被修改的形式，然後在slave端再對相同的資料進行修改。 　　優點：在row level模式下，bin-log中可以不記錄執行的sql語句的上下文相關的資訊，僅僅只需要記錄那一條記錄被修改了，修改成什麼樣了。所以row level的日誌內容會非常清楚的記錄下每一行資料修改的細節，非常容易理解。而且不會出現某些特定情況下的預存程序，或function，以及trigger的調用和觸發無法被正確複製的問題。 　　缺點：row level下，所有的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄，這樣可能會產生大量的日誌內容，比如有這樣一條update語句：update product set owner_member_id = ‘b’ where owner_member_id = ‘a’，執行之後，日誌中記錄的不是這條update語句所對應額事件(MySQL以事件的形式來記錄bin-log日誌)，而是這條語句所更新的每一條記錄的變化情況，這樣就記錄成很多條記錄被更新的很多個事件。自然，bin-log日誌的量就會很大。尤其是當執行alter table之類的語句的時候，產生的日誌量是驚人的。因為MySQL對於alter table之類的表結構變更語句的處理方式是整個表的每一條記錄都需要變動，實際上就是重建了整個表。那麼該表的每一條記錄都會被記錄到日誌中。 　　Statement Level:每一條會修改資料的sql都會記錄到 master的bin-log中。slave在複製的時候sql進程會解析成和原來master端執行過的相同的sql來再次執行。 　　優點：statement level下的優點首先就是解決了row level下的缺點，不需要記錄每一行資料的變化，減少bin-log日誌量，節約IO，提高效能。因為他只需要記錄在Master上所執行的語句的細節，以及執行語句時候的內容相關的資訊。 　　缺點：由於他是記錄的執行語句，所以，為了讓這些語句在slave端也能正確執行，那麼他還必須記錄每條語句在執行的時候的一些相關資訊，也就是上下文資訊，以保證所有語句在slave端杯執行的時候能夠得到和在master端執行時候相同的結果。另外就是，由於MySQL現在發展比較快，很多的新功能不斷的加入，使MySQL得複製遇到了不小的挑戰，自然複製的時候涉及到越複雜的內容，bug也就越容易出現。在statement level下，目前已經發現的就有不少情況會造成MySQL的複製出現問題，主要是修改資料的時候使用了某些特定的函數或者功能的時候會出現，比如：sleep()函數在有些版本中就不能真確複製，在預存程序中使用了last_insert_id()函數，可能會使slave和master上得到不一致的id等等。由於row level是基於每一行來記錄的變化，所以不會出現類似的問題。 　　從官方文檔中看到，之前的MySQL一直都只有基於statement的複製模式，直到5.1.5版本的MySQL才開始支援row level的複製。從5.0開始，MySQL的複製已經解決了大量老版本中出現的無法正確複製的問題。但是由於預存程序的出現，給MySQL Replication複製又帶來了更大的新挑戰。另外，看到官方文檔說，從5.1.8版本開始，MySQL提供了除Statement Level和Row Level之外的第三種複製模式：Mixed，實際上就是前兩種模式的結合。在Mixed模式下，MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式，也就是在Statement和Row之間選擇一種。新版本中的Statment level還是和以前一樣，僅僅記錄執行的語句。而新版本的MySQL中隊row level模式也被做了最佳化，並不是所有的修改都會以row level來記錄，像遇到表結構變更的時候就會以statement模式來記錄，如果sql語句確實就是update或者delete等修改資料的語句，那麼還是會記錄所有行的變更。 下面值得一讀：： -- 基於SQL語句的複製(statement-based replication, SBR)， -- 基於行的複製(row-based replication, RBR)， -- 混合模式複製(mixed-based replication, MBR)。 相應地，binlog的格式也有三種：STATEMENT，ROW，MIXED。 MBR 模式中，SBR 模式是預設的。 在運行時可以動態改動 binlog的格式，除了以下幾種情況： . 儲存流程或者觸發器中間 . 啟用了NDB . 當前會話試用 RBR 模式，並且已開啟了暫存資料表 如果binlog採用了 MIXED 模式，那麼在以下幾種情況下會自動將binlog的模式由 SBR 模式改成 RBR 模式。 . 當DML語句更新一個NDB表時 . 當函數中包含 UUID() 時 . 2個及以上包含 AUTO_INCREMENT 欄位的表被更新時 . 行任何 INSERT DELAYED 語句時 . 用 UDF 時 . 視圖中必須要求運用 RBR 時，例如建立視圖是運用了 UUID() 函數 設定主從複製模式： log-bin=mysql-bin #binlog_format="STATEMENT" #binlog_format="ROW" binlog_format="MIXED" 也可以在運行時動態修改binlog的格式。例如 mysql> SET SESSION binlog_format = 'STATEMENT'; mysql> SET SESSION binlog_format = 'ROW'; mysql> SET SESSION binlog_format = 'MIXED'; mysql> SET GLOBAL binlog_format = 'STATEMENT'; mysql> SET GLOBAL binlog_format = 'ROW'; mysql> SET GLOBAL binlog_format = 'MIXED'; 兩種模式各自的優缺點： SBR 的優點： 曆史悠久，技能成熟 binlog檔案較小 binlog中包含了所有資料庫修改資訊，可以據此來審核心數據庫的安全等情況 binlog可以用於即時的還原，而不僅僅用於複製 主從版本可以不一樣，從伺服器版本可以比主伺服器版本高 SBR 的缺點： 不是所有的UPDATE語句都能被複製，尤其是包含不確定操作的時候。 調用具有不確定因素的 UDF 時複製也可能出疑問 運用以下函數的語句也不能被複製： * LOAD_FILE() * UUID() * USER() * FOUND_ROWS() * SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項) INSERT ... SELECT 會產生比 RBR 更多的行級鎖 複製須要執行 全表掃描(WHERE 語句中沒有運用到索引)的 UPDATE 時，須要比 RBR 請求更多的行級鎖 對於有 AUTO_INCREMENT 欄位的 InnoDB表而言，INSERT 語句會阻塞其他 INSERT 語句 對於一些複雜的語句，在從伺服器上的耗資源情況會更嚴重，而 RBR 模式下，只會對那個發生變化的記錄產生影響 儲存函數(不是儲存流程 )在被調用的同時也會執行一次 NOW() 函數，這個可以說是壞事也可能是好事 確定了的 UDF 也須要在從伺服器上執行 資料表必須幾乎和主伺服器保持一致才行，否則可能會導致複製出錯 執行複雜語句如果出錯的話，會消耗更多資源 RBR 的優點： 任何情況都可以被複製，這對複製來說是最安全可靠的 和其他大多數資料庫系統的複製技能一樣 多數情況下，從伺服器上的表如果有主鍵的話，複製就會快了很多 複製以下幾種語句時的行鎖更少： * INSERT ... SELECT * 包含 AUTO_INCREMENT 欄位的 INSERT * 沒有附帶條件或者並沒有修改很多記錄的 UPDATE 或 DELETE 語句 執行 INSERT，UPDATE，DELETE 語句時鎖更少 從伺服器上採用多線程來執行複製成為可能 RBR 的缺點： binlog 大了很多 複雜的復原時 binlog 中會包含大量的資料 主伺服器上執行 UPDATE 語句時，所有發生變化的記錄都會寫到 binlog 中，而 SBR 只會寫一次，這會導致頻繁發生 binlog 的並發寫疑問 UDF 產生的大 BLOB 值會導致複製變慢 不能從 binlog 中看到都複製了寫什麼語句(加密過的) 當在非事務表上執行一段堆積的SQL語句時，最好採用 SBR 模式，否則很容易導致主從伺服器的資料不一致情況發生 另外，針對系統庫 mysql 裡面的表發生變化時的處理準則如下： 如果是採用 INSERT，UPDATE，DELETE 直接動作表的情況，則日誌格式根據 binlog_format 的設定而記錄 如果是採用 GRANT，REVOKE，SET PASSWORD 等管理語句來做的話，那麼無論如何 都採用 SBR 模式記錄。 註：採用 RBR 模式後，能處理很多原先出現的主鍵重複問題。