Mysql 二進位日誌

標籤：

Mysql binlog日誌有三種格式，分別為Statement,MiXED,以及ROW！

1.Statement：每一條會修改資料的sql都會記錄在binlog中。

優點：不需要記錄每一行的變化，減少了binlog日誌量，節約了IO，提高效能。(相比row能節約多少效能與日誌量，這個取決於應用的SQL情況，正常同一條記錄修改或者插入row格式所產生的日誌量還小於Statement產生的日誌量，但是考慮到如果帶條件的update操作，以及整表刪除，alter表等操作，ROW格式會產生大量日誌，因此在考慮是否使用ROW格式日誌時應該跟據應用的實際情況，其所產生的日誌量會增加多少，以及帶來的IO效能問題。)

缺點：由於記錄的只是執行語句，為了這些語句能在slave上正確運行，因此還必須記錄每條語句在執行的時候的一些上下文資訊，以保證所有語句能在slave得到和在master端執行時候相同 的結果。另外mysql 的複製,像一些特定函數功能，slave可與master上要保持一致會有很多相關問題(如sleep()函數， last_insert_id()，以及user-defined functions(udf)會出現問題).

使用以下函數的語句也無法被複製：

* LOAD_FILE()

* UUID()

* USER()

* FOUND_ROWS()

* SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項)

同時在INSERT ...SELECT 會產生比 RBR 更多的行級鎖

2.Row:不記錄sql語句上下文相關資訊，僅儲存哪條記錄被修改。

優點： binlog中可以不記錄執行的sql語句的上下文相關的資訊，僅需要記錄那一條記錄被修改成什麼了。所以rowlevel的日誌內容會非常清楚的記錄下每一行資料修改的細節。而且不會出現某些特定情況下的預存程序，或function，以及trigger的調用和觸發無法被正確複製的問題

缺點:所有的執行的語句當記錄到日誌中的時候，都將以每行記錄的修改來記錄，這樣可能會產生大量的日誌內容,比如一條update語句，修改多條記錄，則binlog中每一條修改都會有記錄，這樣造成binlog日誌量會很大，特別是當執行alter table之類的語句的時候，由於表結構修改，每條記錄都發生改變，那麼該表每一條記錄都會記錄到日誌中。

3.Mixedlevel: 是以上兩種level的混合使用，一般的語句修改使用statment格式儲存binlog，如一些函數，statement無法完成主從複製的操作，則採用row格式儲存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式，也就是在Statement和Row之間選擇一種.新版本的MySQL中隊row level模式也被做了最佳化，並不是所有的修改都會以row level來記錄，像遇到表結構變更的時候就會以statement模式來記錄。至於update或者delete等修改資料的語句，還是會記錄所有行的變更。

 

二.Binlog基本配製與格式設定

1.基本配製

Mysql BInlog日誌格式可以通過mysql的my.cnf檔案的屬性binlog_format指定。如以下：

binlog_format           = MIXED                 //binlog日誌格式

log_bin                  =目錄/mysql-bin.log    //binlog日誌名

expire_logs_days    = 7                           //binlog到期清理時間

max_binlog_size    100m                         //binlog每個記錄檔大小

binlog-do-db=需要備份的資料庫名，如果備份多個資料庫，重複設定這個選項即可 binlog-ignore-db=不需要備份的資料庫苦命，如果備份多個資料庫，重複設定這個選項即可

2.Binlog日誌格式選擇

Mysql預設是使用Statement日誌格式，推薦使用MIXED.

由於一些特殊使用，可以考慮使用ROWED，如自己通過binlog日誌來同步資料的修改，這樣會節省很多相關操作。對於binlog資料處理會變得非常輕鬆,相對mixed，解析也會很輕鬆(當然前提是增加的日誌量所帶來的IO開銷在容忍的範圍內即可)。

3.mysqlbinlog格式選擇

mysql對於日誌格式的選定原則:如果是採用 INSERT，UPDATE，DELETE 等直接動作表的情況，則日誌格式根據 binlog_format 的設定而記錄,如果是採用 GRANT，REVOKE，SET PASSWORD 等管理語句來做的話，那麼無論如何 都採用 SBR 模式記錄

 

三．Mysql Binlog日誌分析

通過MysqlBinlog指令查看具體的mysql日誌，如下:

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

SET TIMESTAMP=1350355892/*!*/;

BEGIN

/*!*/;

# at 1643330

#121016 10:51:32 server id 1  end_log_pos 1643885        Query     thread_id=272571   exec_time=0   error_code=0

SET TIMESTAMP=1350355892/*!*/;

Insert into T_test….)

/*!*/;

# at 1643885

#121016 10:51:32 server id 1  end_log_pos 1643912        Xid = 0

COMMIT/*!*/;

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

1.開始事物的時間:

SET TIMESTAMP=1350355892/*!*/;

BEGIN

2.sqlevent起點

#at 1643330 :為事件的起點，是以1643330位元組開始。

3.sqlevent 發生的時間點

#121016 10:51:32:是事件發生的時間，

4.serverId

server id 1 :為master 的serverId

5.sqlevent終點及花費時間，錯誤碼

end_log_pos 1643885:為事件的終點，是以1643885 位元組結束。

execTime 0: 花費的時間

error_code=0:錯誤碼

Xid:事件指示提交的XA事務

Mixed日誌說明：

在slave日誌同步過程中，對於使用now這樣的時間函數，MIXED日誌格式，會在日誌中產生對應的unix_timestamp()*1000的時間字串，slave在完成同步時，取用的是sqlEvent發生的時間來保證資料的準確性。另外對於一些功能性函數slave能完成相應的資料同步，而對於上面指定的一些類似於UDF函數，導致Slave無法知曉的情況，則會採用ROW格式儲存這些Binlog，以保證產生的Binlog可以供Slave完成資料同步。

---------------------------------------------------------------------------

二進位日誌記錄了所有對資料庫執行更改的操作，二進位主要有以下兩種作用：

1、恢複（recovery）2、複製（replication）

二進位日誌的啟動：配置參數log-bin[=name]，如果不指定name，則預設二進位記錄檔名為主機名稱，尾碼名為二級制日誌的序號，所在路徑為資料庫所在目錄。

以index為尾碼的檔案為二進位日誌的索引檔案，用來儲存過往生產的二進位日誌。

 

和二進位日誌相關的參數：

max_binlog_size、binlog_cache_size、sync_binlog、binlog-do-db、binlog-ignore-db、log-slave-update、binlog_format

max_binlog_size，該參數指定了單個二進位記錄檔的最大值，如果超過該值，則產生新的二進位記錄檔，尾碼名+1，並記錄到.index檔案，從Mysql5.0開始的預設值為1073741824，代表1G。

Mysql5.5的預設值

 

當使用事務的儲存引擎InnoDB時，所有未提交的事務會記錄到一個緩衝中，等待事務提交時，直接將緩衝中的二進位日誌寫入二進位記錄檔，而該緩衝的大小由binlog_cache_size決定，預設大小為32KB，此外，binlog_cache_size是基於回話的，也就是，當一個線程開始一個事務時，mysql會自動分配一個大小為binlog_cache_size的緩衝，因此該值得設定需要相當小心，可以通過show global status 查看binlog_cache_use、binlog_cache_disk_use的狀態，可以判斷當前binlog_cache_size的設定是否合適。

Binlog_cache_size的預設大小為32KB

 

參數sync_binlog=[N]表示每寫緩衝多少次就同步到磁碟，如果將N設定為1，則表示採用同步寫磁碟的方式來寫二進位日誌，該參數很重要，這個以後還會提到。值得注意的是，在將該參數設定為1時，也應該將innodb_support_xa設為1來解決，這可以確保二進位日誌和InnoDB儲存引擎資料檔案的同步。

參數binlog-do-db和binlog-ignore-db表示需要寫入或者忽略寫入哪些庫的日誌，預設值為空白，則表示將所有庫的日誌同步到二進位日誌。

Log-slave-update該參數在搭建master=>slave=>slave的架構時，需要配置。

Binlog_format參數也特別重要。從mysql5.1版本開始引入這個參數，該參數可以設定的值有STATEMENT\、ROW、MIXED；

（1）STATEMENT格式和之前的mysql版本一樣，二進位記錄檔記錄的是日誌的邏輯失SQL語句。

（2）在ROW格式下，二進位日誌記錄的不再是簡單的SQL語句了，而是記錄表的行更改情況，此時可以將InnoDB的事務隔離基本設為READ COMMITTED，以獲得更好的並發性。

（3）MIXED格式下，mysql預設採用的STATEMENT格式進行二進位記錄檔的記錄，但是在一些情況下會使用ROW格式，可能的情況包括：

1）表的儲存引擎為NDB，這時對於表的DML操作都會以ROW格式記錄

2）使用了UUID()、USER()、CURRENT_USER()、FOUND_ROWS()、ROW_COUNT()等不確定函數

3）使用了INSERT DELAY語句

4）使用了使用者定義函數

5）使用了暫存資料表

Mysql 二進位日誌