基於Xtrabackup進行MySQLDatabase Backup

標籤：xtrabackup

一、Xtrabackup備份恢複原理

備份innodb表時，xtrabackup若干個線程拷貝獨立資料表空間的.ibd檔案，並不停監視此過程中redo log的變化，添加到自己的交易記錄檔（xtrabackup_logfile）中。在此過程中，發生的物理寫操作越多，xtrabackup_logfile越大。在拷貝完成後的第一個prepare階段，xtrabackup採用類似於innodb崩潰恢複的方法，把資料檔案恢複到與記錄檔一致的狀態，並把未提交的交易回復。如果同時需要備份myisam表以及innodb表結構等檔案，那麼就需要用flush tables with lock來獲得全域鎖，開始拷貝這些不再變化的檔案，同時獲得binlog位置，拷貝結束後釋放鎖，也停止對redo log的監視。
 
很多同學對上面的理解有混淆，以為拷貝.ibd檔案就跟作業系統拷貝檔案一樣。其實這裡涉及到fractured page的問題，他應該會重新讀取（應該也有重試次數，超過後備份不成功）。
 
其實這個原理很簡單，瞭解下doublewrite就可以理解了“本段摘錄自《MySQL技術內幕：InnoDB儲存引擎》”：
如果說插入緩衝帶給InnoDB儲存引擎的是效能，那麼兩次寫帶給InnoDB儲存引擎的是資料的可靠性。當資料庫宕機時，可能發生資料庫正在寫一個頁面，而這個頁唯寫了一部分（比如16K的頁，唯寫前4K的頁）的情況，我們稱之為部分寫失效（partial page write）。在InnoDB儲存引擎未使用double write技術前，曾出現過因為部分寫失效而導致資料丟失的情況。

 

有人也許會想，如果發生寫失效，可以通過重做日誌進行恢複。這是一個辦法。但是必須清楚的是，重做日誌中記錄的是對頁的物理操作，如位移量800，寫“aaaa”記錄。如果這個頁本身已經損壞，再對其進行重做是沒有意義的。這就是說，在應用（apply）重做日誌前，我們需要一個頁的副本，當寫入失效發生時，先通過頁的副本來還原該頁，再進行重做，這就是doublewrite。

 

二、備份指令碼

#!/bin/sh#======================================================================================== ## 備份工具：##    percona-xtrabackup-2.2.6#### 備份策略：##    1、每天淩晨4點進行全量備份一次；##    2、每隔一小時增量備份一次；###======================================================================================== PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin ## DB備份基路徑BACKUP_BASE_DIR="/data/mysql_backup" ## 增量備份時，用到的基準目錄列表檔案## 內容格式：基準目錄|本次備份目錄|備份類型【full|inc】INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt" ## 備份工具路徑XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex" ## MySQL配置路徑MYSQL_CNF_PATH="/etc/my.cnf" ## 線程數THREAD_CNT=6 #======================================================================================== function print_help_info(){   echo "--------------------------------------------------------------"   echo "Usage: $0 full | inc | help"   echo "--------------------------------------------------------------"   echo ""   exit 1} [[ $# -lt 1 ]] && print_help_info[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR} ## 只允許一個副本運行，以避免全量備份與增量備份出現交叉，發生資料錯亂的可能性[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1 CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M` #======================================================================================== ## 全量備份if [[ "$1" == "full" ]]; then   ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}   echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST} ## 增量備份elif [[ "$1" == "inc" ]]; then   ## 基準目錄列表檔案不存在或者為空白的情況，需要做一次全量備份   if [[ ! -f ${INC_BASE_LIST} || `sed ‘/^$/d‘ ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}      echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}    ## 不存在任何目錄的情況，需要做一次全量備份，以避免增量備份失敗   elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}      echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}    ## 在上一次備份的基礎上，進行增量備份   else      PREV_BACKUP_DIR=`sed ‘/^$/d‘ ${INC_BASE_LIST} | tail -1  | awk -F ‘|‘ ‘{print $2}‘`      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}      echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}   fi elif [[ "$1" == "help" ]]; then   print_help_info else   print_help_infofi ## 刪除2周前的資料備份DELETE_FLAG=`date -d "14 days ago" +"%F"`cd ${BACKUP_BASE_DIR} && rm -rf ${DELETE_FLAG}_*sed -i "/${DELETE_FLAG}/d" ${INC_BASE_LIST} #======================================================================================== ##The End ######################################################################################### ## 需要添加的crontab資訊：##     (1)、全量備份##     00 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1####     (2)、增量備份##     00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1###########################################################################################  ######################################################################################### ## DB資料恢複步驟：##    (1)、應用基準##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full####    (2)、應用第一個增量備份##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one####    (3)、應用第二個增量備份##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two####    (4)、再次應用基準##    innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full####    (5)、恢複##    innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full#########################################################################################

 

三、效果展示

650) this.width=650;" title="11.png" alt="wKiom1R4nGmx-esLAAHwpEpj9Ec936.jpg" src="http://s3.51cto.com/wyfs02/M02/54/21/wKiom1R4nGmx-esLAAHwpEpj9Ec936.jpg" />

 

650) this.width=650;" title="33.png" alt="wKioL1R4nQ2yInEAAAGH1omJPig080.jpg" src="http://s3.51cto.com/wyfs02/M02/54/20/wKioL1R4nQ2yInEAAAGH1omJPig080.jpg" />

 

650) this.width=650;" title="22.png" alt="wKiom1R4nJig3C9EAAILalEIktA116.jpg" src="http://s3.51cto.com/wyfs02/M02/54/21/wKiom1R4nJig3C9EAAILalEIktA116.jpg" />

 

 

本文出自 “人生理想在于堅持不懈” 部落格，請務必保留此出處http://sofar.blog.51cto.com/353572/1584366

基於Xtrabackup進行MySQLDatabase Backup