Shell編程應用篇之網站自動化備份，shell自動化

Shell編程應用篇之網站自動化備份，shell自動化
    rsync是類unix系統下的資料鏡像備份工具——remote sync。一款快速增量備份工具 Remote Sync，遠程同步 支援本地複製，或者與其他SSH、rsync主機同步。與傳統的cp、scp、tar備份方式相比，rsync具有安全性高、備份迅速、支援增量備份等優點，通過rsync可以解決對即時性要求不高的資料備份需求，例如週期性備份檔案伺服器資料到遠端伺服器，對本地磁碟定期做資料鏡像等。
    
環境
centos 5.8(64)  192.168.23.130 (service)
centos 5.8(64)  192.168.23.131 (client)
軟體
rsync-3.1.1.tar.gz(http://rsync.samba.org/)
安裝步驟
1.前期的準備條件
    a.關閉selinux、防火牆(個人習慣不管什麼情況下，自己玩都是必須關閉)
    b.yum install -y make gcc
2.安裝rsync(service、client)
    a.tar -zxf rsync-3.1.1.tar.gz
    b.cd rsync-3.1.1
    c. ./configure --prefix=/usr/local/rsync
    d.make
    e.make install
3.配置rsync
    a.vim /etc/rsyncd.conf(service)
        uid = root                         
        gid = root
        use chroot = no
        [apps]
        auth users = root
        secrets file = /etc/rsyncd.passwd
        munge symlinks = no
        read only = no
        path=/data/test
    b.vim /etc/rsyncd.passwd(service)
        root:111111
    c.vim /etc/rsync.passwd(client)
        111111
4.啟動rsync(service)
    /usr/local/rsync/bin/rsync --daemon --config=/etc/rsyncd.conf
5.同步檔案(client)
    /usr/local/rsync/bin/rsync -vzrtopg --progress --delete rsync://root@192.168.23.131/apps /tmp/tmp/ --password-file=/etc/rsync.pas (service->client)
    /usr/local/rsync/bin/rsync -vzrtopg --progress --delete /tmp/tmp/ rsync://root@192.168.23.131/apps --password-file=/etc/rsync.pas (client->service)
6.驗證
    到相應的目錄查看是否存在同步的檔案
以後是手動啟動並執行，對於比較懶的人肯定不適合，下邊就介紹Inotify-tools工具，可以實現即時自動同步。Inotify 是一個 Linux特性，它監控檔案系統操作，比如讀取、寫入和建立。Inotify 反應靈敏，用法非常簡單，並且比 cron 任務的繁忙輪詢高效得多。學習如何將 inotify 整合到您的應用程式中，並發現一組可用來進一步自動化系統治理的命令列工具。
7.安裝Inotify-tools
    a.wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
    b.tar -zxf inotify-tools-3.14.tar.gz
    c.cd inotify-tools-3.14
    d. ./configure --prefix=/usr/local/inotify
    e.make
    f.make install
8.編寫shell指令碼(rsync.sh)
   

#!/bin/sh    #local dir    dstdir="/tmp/tmp/"    #sync user    rsyncuser="root"    #sync password    rsyncpassword="/etc/rsync.pas"    #remote ip    remoteip="192.168.23.131"    #remote module    module="apps"    #sync remote server  module to local dir    for ip in $remoteip    do        /usr/local/rsync/bin/rsync -vzrtopg --progress  --delete  $rsyncuser@$ip::$module  $dstdir  --password-file=$rsyncpassword    done    #monitor local dir, then rsync remote server module    /usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $dstdir |  while read file    do        for ip in $remoteip            do                /usr/local/rsync/bin/rsync -vzrtopg --progress  --delete $dstdir  $rsyncuser@$ip::$module  --password-file=$rsyncpassword                echo "  ${file} was rsynced" >> /tmp/rsync.log 2>&1            done    done

9.chmod 755 rsync.sh
10.運行shell指令碼，併到相應的目錄操作看是否操作成功
11.設定開機自啟動

    echo "sh /usr/local/inotify/rsync.sh &" >> /etc/rc.d/rc.local

發散一下:如果線上有多台web伺服器，我們可以通過rsync+Inotify實現批量上傳檔案。其具體做法是:確定一台server作為內容分發機，所有線上的伺服器都通過rsync+Inotify的方式監控內容分發機，一旦有更新就即時的同步到線上，這也算一個小小的自動化營運吧。

命令參數說明
    1.rsyncd.conf詳解
        全域參數
        uid = root                                  //運行RSYNC守護進程的使用者
        gid = root                                  //運行RSYNC守護進程的組
        use chroot = no                 //不使用chroot
        max connections = 4             // 最大串連數為4
        strict modes =yes                //是否檢查口令檔案的許可權
        port = 873                      //預設連接埠873
          
        模組參數
        [backup]                   //這裡是認證的模組名，在client端需要指定
        path = /home/backup/        //需要做鏡像的目錄,不可缺少！
        comment = This is a test       //這個模組的注釋資訊
        ignore errors                //可以忽略一些無關的IO錯誤
        read only = yes              // 唯讀
        list = no                   //不允許列檔案
        auth users = hening             //認證的使用者名稱，如果沒有這行則表明是匿名，此使用者與系統無關
        secrets file = /etc/rsync.pas           //密碼和使用者名稱對比表，密碼檔案自己產生
        hosts allow = 192.168.1.1,10.10.10.10      //允許主機
        hosts deny = 0.0.0.0/0                   //禁止主機
        #transfer logging = yes
        注釋：下面這些綠色檔案是安裝完RSYNC服務後自動產生的檔案
        pid file = /var/run/rsyncd.pid      //pid檔案的存放位置
        lock file = /var/run/rsync.lock     //鎖檔案的存放位置
        log file = /var/log/rsyncd.log      //日誌記錄檔案的存放位置
    2.rsync命令參數
        -v, --verbose 詳細模式輸出
        -q, --quiet 精簡輸出模式
        -c, --checksum 開啟校正開關，強制對檔案傳輸進行校正
        -a, --archive 歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性，等於-rlptgoD
        -r, --recursive 對子目錄以遞迴模式處理
        -R, --relative 使用相對路徑資訊
        -b, --backup 建立備份，也就是對於目的已經存在有同樣的檔案名稱時，將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案首碼。
        --backup-dir 將備份檔案(如~filename)存放在在目錄下。
        -suffix=SUFFIX 定義備份檔案首碼
        -u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案)
        -l, --links 保留軟鏈結
        -L, --copy-links 想對待常規檔案一樣處理軟鏈結
        --copy-unsafe-links 僅僅拷貝指向SRC路徑分類樹以外的鏈結
        --safe-links 忽略指向SRC路徑分類樹以外的鏈結
        -H, --hard-links 保留硬鏈結
        -p, --perms 保持檔案許可權
        -o, --owner 保持檔案屬主資訊
        -g, --group 保持檔案屬組資訊
        -D, --devices 保持裝置檔案資訊
        -t, --times 保持檔案時間資訊
        -S, --sparse 對疏鬆檔案進行特殊處理以節省DST的空間
        -n, --dry-run現實哪些檔案將被傳輸
        -W, --whole-file 拷貝檔案，不進行增量檢測
        -x, --one-file-system 不要跨越檔案系統邊界
        -B, --block-size=SIZE 檢驗演算法使用的塊尺寸，預設是700位元組
        -e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步
        --rsync-path=PATH 指定遠程伺服器上的rsync命令所在路徑資訊
        -C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案
        --existing 僅僅更新那些已經存在於DST的檔案，而不備份那些新建立的檔案
        --delete 刪除那些DST中SRC沒有的檔案
        --delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案
        --delete-after 傳輸結束以後再刪除
        --ignore-errors 及時出現IO錯誤也進行刪除
        --max-delete=NUM 最多刪除NUM個檔案
        --partial 保留那些因故沒有完全傳輸的檔案，以是加快隨後的再次傳輸
        --force 強制移除目錄，即使不為空白
        --numeric-ids 不將數位使用者和組ID匹配為使用者名稱和組名
        --timeout=TIME IP逾時時間，單位為秒
        -I, --ignore-times 不跳過那些有同樣的時間和長度的檔案
        --size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間
        --modify-window=NUM 決定檔案是否時間相同時使用的時間戳記視窗，預設為0
        -T --temp-dir=DIR 在DIR中建立臨時檔案
        --compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份
        -P 等同於 --partial
        --progress 顯示備份過程
        -z, --compress 對備份的檔案在傳輸時進行壓縮處理
        --exclude=PATTERN 指定排除不需要傳輸的檔案模式
        --include=PATTERN 指定不排除而需要傳輸的檔案模式
        --exclude-from=FILE 排除FILE中指定模式的檔案
        --include-from=FILE 不排除FILE指定模式比對的檔案
        --version 列印版本資訊
        --address 綁定到特定的地址
        --config=FILE 指定其他的設定檔，不使用預設的rsyncd.conf檔案
        --port=PORT 指定其他的rsync服務連接埠
        --blocking-io 對遠程shell使用阻塞IO
        -stats 給出某些檔案的傳輸狀態
        --progress 在傳輸時現實傳輸過程
        --log-format=formAT 指定記錄檔格式
        --password-file=FILE 從FILE中得到密碼 許可權600
        --bwlimit=KBPS 限制I/O頻寬，KBytes per second
    inotifywait參數
        -m 是保持一直監聽
        -r 是遞迴查看目錄
        -q 是列印出事件
        -e create,move,delete,modify,attrib 是指 “監聽 建立 移動 刪除 寫入 許可權” 事件