MySQL生產庫之Xtrabackup物理備份

標籤：mysql增量備份   mysql物理備份   xtrabackup   

在生產環境中，我們一般採取mysqldump全庫備份，但這對於大型資料庫是停用，因為mysqldump是邏輯備份，備份和恢複的效率緩慢，根據個人經驗給出一個臨界值的話，500G以下的資料庫可以用mysqldump來進行全庫備份，500G以上的資料庫則需要物理全庫備份，甚至是增量備份。Xtrabackup是物理備份，其備份速度也因其物理特性遠超邏輯備份的速度，而且Xtrabackup就是為了邏輯備份而生的，接下來示範一下Xtrabackup是如何完成對資料庫的全備和增備的。

一：首先我們安裝xtrabackup軟體

該tar包可自行百度下載。

[[email protected] ~]# tar xvf percona-xtrabackup-2.1.8-733-Linux-x86_64.tar.gz[[email protected] ~]# mkdir -p /usr/local/xtrabackup[[email protected] ~]#cp -rp  percona-xtrabackup-2.1.8-Linux-x86_64/* /usr/local/xtrabackup將上述目錄添加到系統內容變數[[email protected] bin]# echo export PATH=$PATH:/usr/local/xtrabackup/bin >>/etc/profile[[email protected] bin]# source /etc/profile[[email protected] yum.repos.d]# yum install perl-Time-HiRes[[email protected] bin]# yum install perl-DBD-MySQL*

二：建立備份目錄

[[email protected] ~]#mkdir -p/databackup/xtrabackup

[[email protected] ~]#mkdir-p /databackup/xtrabackuplog

 

 

三：資料庫授予備份使用者相關許可權

mysql > grantSELECT,RELOAD,SHOW DATABASES,SUPER,LOCK TABLES,REPLICATION CLIENT,SHOW VIEW,EVENT,FILE on *.* to [email protected]‘localhost‘ identified by ‘MANAGER‘;

四：執行本文的自動化的備份指令碼

[[email protected] ~]#vi xtrabackup.sh#backup.sh#!/bin/sh#on xtrabackup 2.1.8# 第一次執行它的時候它會檢查是否有完全備份,否則先建立一個全庫備份# 當你再次運行它的時候，它會根據指令碼中的設定來基於之前的全備或增量備份進行增量備份###################author [email protected]###################INNOBACKUPEX_PATH=innobackupex  #INNOBACKUPEX的命令INNOBACKUPEXFULL=/usr/local/xtrabackup/bin/$INNOBACKUPEX_PATH  #INNOBACKUPEX的命令路徑#mysql目標伺服器以及使用者名稱和密碼MYSQL_CMD="--host=localhost --user=backup --password=MANAGER --port=3306"  MYSQL_UP=" --user=backup --password=‘MANAGER‘ --port=3306"  #mysqladmin的使用者名稱和密碼TMPLOG="/tmp/innobackupex.$$.log"MY_CNF=/etc/my.cnf #mysql的設定檔MYSQL=/usr/local/mysql/bin/mysqlMYSQL_ADMIN=/usr/local/mysql/bin/mysqladminBACKUP_DIR=/databackup/xtrabackup # 備份的主目錄FULLBACKUP_DIR=$BACKUP_DIR/full # 全庫備份的目錄INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量備份的目錄FULLBACKUP_INTERVAL=82800 # 全庫備份的間隔周期，時間：秒KEEP_FULLBACKUP=3 # 至少保留幾個全庫備份logfiledate=backup.`date +%Y%m%d%H%M`.txt#開始時間STARTED_TIME=`date +%s`############################################################################## 顯示錯誤並退出#############################################################################error(){    echo "$1" 1>&2    exit 1} # 檢查執行環境if [ ! -x $INNOBACKUPEXFULL ]; then  error "$INNOBACKUPEXFULL未安裝或未連結到/usr/bin."fi if [ ! -d $BACKUP_DIR ]; then  error "備份目標檔案夾:$BACKUP_DIR不存在."fi mysql_status=`netstat -nl | awk ‘NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}‘`if [ "$mysql_status" != "Yes" ];then    error "MySQL 沒有啟動運行."fi if ! `echo ‘exit‘ | $MYSQL -s $MYSQL_CMD` ; then error "提供的資料庫使用者名稱或密碼不正確!"fi # 備份的頭部資訊echo "----------------------------"echoecho "$0: MySQL備份指令碼"echo "開始於: `date +%F‘ ‘%T‘ ‘%w`"echo #建立全備和差異備份的目錄mkdir -p $FULLBACKUP_DIRmkdir -p $INCRBACKUP_DIR#尋找最新的完全備份LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1` # 尋找最近修改的最新備份時間LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`#如果全備有效進行增量備份否則執行完全備份if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then# 如果最新的全備未到期則以最新的全備檔案名稱命名在增量備份目錄下建立目錄echo -e "完全備份$LATEST_FULL_BACKUP未到期,將根據$LATEST_FULL_BACKUP名字作為增量備份基礎目錄名"echo "   "NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUPmkdir -p $NEW_INCRDIR# 尋找最新的增量備份是否存在.指定一個備份的路徑作為增量備份的基礎LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`if [ ! $LATEST_INCR_BACKUP ] ; thenINCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUPecho -e "增量備份將以$INCRBASEDIR作為備份基礎目錄"echo "   "elseINCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}echo -e "增量備份將以$INCRBASEDIR作為備份基礎目錄"echo "   "fiecho "使用$INCRBASEDIR作為基礎本次增量備份的基礎目錄."$INNOBACKUPEXFULL --defaults-file=$MY_CNF --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1#保留一份備份的詳細日誌cat $TMPLOG>/databackup/xtrabackuplog/$logfiledateif [ -z "`tail -1 $TMPLOG | grep ‘innobackupex: completed OK!‘`" ] ; then echo "$INNOBACKUPEX命令執行失敗:"; echo echo -e "---------- $INNOBACKUPEX_PATH錯誤 ----------" cat $TMPLOG rm -f $TMPLOG exit 1fiTHISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"‘\" ) ; print p[2] }" $TMPLOG`rm -f $TMPLOGecho -n "資料庫成功備份到:$THISBACKUP"echo# 提示應該保留的備份檔案起點LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUPLATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`echoecho -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #紅色echo -e "必須保留$KEEP_FULLBACKUP份全備即全備${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目錄中所有增量備份."echo -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #紅色echoelseecho  "*********************************"echo -e "正在執行全新的完全備份...請稍等..."echo  "*********************************"$INNOBACKUPEXFULL --defaults-file=$MY_CNF  --use-memory=4G  $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1 #保留一份備份的詳細日誌cat $TMPLOG>/databackup/xtrabackuplog/$logfiledateif [ -z "`tail -1 $TMPLOG | grep ‘innobackupex: completed OK!‘`" ] ; then echo "$INNOBACKUPEX命令執行失敗:"; echo echo -e "---------- $INNOBACKUPEX_PATH錯誤 ----------" cat $TMPLOG rm -f $TMPLOG exit 1fi THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"‘\" ) ; print p[2] }" $TMPLOG`rm -f $TMPLOGecho -n "資料庫成功備份到:$THISBACKUP"echo# 提示應該保留的備份檔案起點LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}echoecho -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #紅色echo -e "無增量備份,必須保留$KEEP_FULLBACKUP份全備即全備${RES_FULL_BACKUP}."echo -e ‘\e[31m NOTE:---------------------------------------------------------------------------------.\e[m‘ #紅色echofi#刪除到期的全備echo -e "find expire backup file...........waiting........."echo -e "尋找到期的全備檔案並刪除">>/databackup/xtrabackuplog/$logfiledatefind $FULLBACKUP_DIR -type d -name "201*" -mtime +2| xargs rm -fr {};#刪除到期的增備echo -e "尋找到期的增備檔案並刪除" >>/databackup/xtrabackuplog/$logfiledatefind $INCRBACKUP_DIR -type d -name "201*" -mtime +2| xargs rm -fr {};echoecho "完成於: `date +%F‘ ‘%T‘ ‘%w`"exit 0

五：驗證結果

指令碼執行完畢後，則會在/databackup/xtrabackup下建立兩個檔案夾，分別是full代表全庫備份和incre增量備份

第一次執行，則建立全庫備份，該指令碼每天建立一分全庫備份，增量備份則根據執行指令碼的間隔來執行。

六：計劃任務參考

這裡給出一個案例僅供參考：

編輯crontab計劃任務

00 */1 * * */root/shell/xtrabackup.sh 1>/dev/null 2>&1 &

這裡的意思是每一小時自動執行一次指令碼，增量備份的間隔是1小時

本文出自 “歲伏” 部落格，請務必保留此出處http://suifu.blog.51cto.com/9167728/1852587

MySQL生產庫之Xtrabackup物理備份