rsync服務的使用

rsync服務的使用  這次我把rsync服務使用在了web前端網站的提測、測試和更新方面。先介紹流程和配置。  www.2cto.com  1. 前提網站上線流程太過原始：前端研發提測，郵件將提測檔案打包給測試--->測試手動上傳檔案到測試環境，測試通過後把提測包郵件發送給營運--->營運進行線上更新，也需要手動更新檔案這個過程太繁瑣，太漫長，即使把上線操作自動化，但是對於前段研發和測試來說，也是可以把人逼瘋的流程。尤其是在測試工作大的情況下。  www.2cto.com  2. 解決方案2.1 給前端研發提供提測專用FTP。FTP服務的部署就不在這裡說了。2.2 在提測專用FTP所在的系統上部署rsync服務，讓測試環境自動同步提測專用FTP上的檔案。2.3 在測試環境同樣部署rsync服務，讓生產環境手動同步測試環境的檔案。2.4 然後再進行線上跟蹤測試。3. 環境說明提測專用FTP：CentOS6.2  192.168.1.167網站測試伺服器：CentOS6.2 192.168.1.6生產環境網站伺服器：CentOS5.8  192.168.64.824. rsync服務的部署以及自動同步設定4.1 rsync服務的部署可以以單獨進程方式開啟，也可以配置到xinetd守護進程，讓其自動開啟。4.1.1 安裝非常簡單，yum安裝即可yum install -y rsync 4.1.2 配置建立設定檔,和密碼檔案touch /etc/rsyncd.conf touch /etc/rsyncd.pwd chmod 600 /etc/rsyncd.pwd  #必須改成屬主讀寫權限，否則不能進行密碼校正 下面是本例中/etc/rsyncd.conf檔案和/etc/rsyncd.pwd檔案的內容：提測專用FTP伺服器：192.168.1.167上的rsyncd.conf配置：port=873 uid = root gid = root pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log  [web_update]   #執行個體名 uid=root #使用root使用者權限，可自行制定使用的系統使用者 gid=root #使用root使用者組許可權  path=/home/data01/website/  #執行個體根目錄所在位置 host allow=192.168.1.6  # 允許串連此服務的主機 ，指定只允許測試伺服器來同步read only=true   # ture唯讀許可權，false讀寫權限 auth users = rsync  # 允許傳送檔案的使用者 secrets file = /etc/rsyncd.pwd # 指定密碼驗證檔案的位置 提測專用FTP伺服器：192.168.1.167上的rsyncd.pwd的配置：rsync:yourpassword167    # 冒號前面是auth users 指定的使用者rysnc，後面是自訂的密碼。                         # 密碼必須是可讀的，就是說密碼中不能有特殊字元 網站測試伺服器：192.168.1.6上的rsyncd.conf配置：port=873 uid = root gid = root pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log  [web_cms] uid=root gid=root path=/home/htdocs/ host allow=192.168.64.82 # 指定只允許生產環境的伺服器來同步 read only=true auth users = rsync secrets file = /etc/rsyncd.pwd 網站測試伺服器：192.168.1.6上的rsyncd.pwd的配置：rsync:yourpassword6 4.1.3 啟動並配置開機啟動/usr/bin/rsync --daemon  #以服務形式啟動 echo '/usr/bin/rsync --daemon' >> /etc/rc.local # 開機啟動 4.2 自動同步的配置老方法：指令碼+crontab其實指令碼就就是幾條命令拼湊的。有時為了安全可以做一下判斷，判斷在何種情況下不進行同步，或者同步出現錯誤時發送郵件或簡訊警示。偷懶了，不做判斷不警示，直接同步處理！！內容如下：網站測試伺服器：192.168.1.6上的同步指令碼：#!/bin/bash DATE=`date +"%Y%m%d%H%M"` echo "########################################################" >> /data01/log/rsync.log echo '########################################################' >> /data01/log/rsync.log /usr/bin/rsync -vzrtopglP --delete rsync@192.168.1.167::web_update /home/htdocs/ --password-file=/root/scripts/rsyncd.pwd >> /data01/log/rsync.log  # --password-file=/root/scripts/rsyncd.pwd 中的/root/scripts/rsyncd.pwd檔案是指定擷取密碼的檔案，內容為192.168.1.167上rsync使用者的密碼唯寫密碼yourpassword167，# 不能把使用者和冒號寫上。檔案的許可權也為屬主讀寫（600）。echo "@@@@@@@@@@@@@@ The sync job was done on $DATE !!!@@@@@@@@@@@@@@@@" >> /data01/log/rsync.log crontab定時執行：crontab -e */5 * * * * /bin/bash /root/scripts/auto_sync_data.sh  #auto_sync_data.sh是指令檔的檔案名稱  生產環境網站伺服器：192.168.64.82上的同步指令碼：#!/bin/bash DATE=`date +"%Y%m%d%H%M"` tar -czvf /home/backup/htdocs_$DATE.tar.gz /home/htdocs/ > /dev/null 2>&1  # 備份線上的檔案 rsync -azvP --delete rsync@192.168.1.6::web_cms/ /home/htdocs/ --password-file=/home/scripts/rsyncd.pwd >> /home/rsync.log #同步測試環境的檔案，注意/home/scripts/rsyncd.pwd檔案的內容和許可權。echo "########$DATE########" >> /home/rsync.log  手動執行上線操作，最好不要做定時執行，除非在可控的情況下。5. 補充這樣的一個流程和配置只能用在非應用型的服務上面，比如網站分頁檔、圖片、flash資源等。不要用在應用型的服務上。因為應用型的服務比如java、php等等，這些程式的更新都涉及到在不同環境設定檔的變更，傻瓜式同步絕對是不行的。針對應用型服務的自動部署和更新，我用的是Tomcat+Jenkins/hudson+ant+SVN這樣的一個持續整合環境。rsync命令詳解：-v, --verbose 詳細模式輸出 -q, --quiet 精簡輸出模式 -c, --checksum 開啟校正開關，強制對檔案傳輸進行校正 -a, --archive 歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性，等於-rlptgoD -r, --recursive 對子目錄以遞迴模式處理 -R, --relative 使用相對路徑資訊 -b, --backup 建立備份，也就是對於目的已經存在有同樣的檔案名稱時，將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案首碼。 --backup-dir 將備份檔案(如~filename)存放在在目錄下。 -suffix=SUFFIX 定義備份檔案首碼 -u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案) -l, --links 保留軟鏈結 -L, --copy-links 想對待常規檔案一樣處理軟鏈結 --copy-unsafe-links 僅僅拷貝指向SRC路徑分類樹以外的鏈結 --safe-links 忽略指向SRC路徑分類樹以外的鏈結 -H, --hard-links 保留硬鏈結     -p, --perms 保持檔案許可權 -o, --owner 保持檔案屬主資訊     -g, --group 保持檔案屬組資訊 -D, --devices 保持裝置檔案資訊    -t, --times 保持檔案時間資訊 -S, --sparse 對疏鬆檔案進行特殊處理以節省DST的空間 -n, --dry-run現實哪些檔案將被傳輸 -W, --whole-file 拷貝檔案，不進行增量檢測 -x, --one-file-system 不要跨越檔案系統邊界 -B, --block-size=SIZE 檢驗演算法使用的塊尺寸，預設是700位元組 -e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步 --rsync-path=PATH 指定遠程伺服器上的rsync命令所在路徑資訊 -C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案 --existing 僅僅更新那些已經存在於DST的檔案，而不備份那些新建立的檔案 --delete 刪除那些DST中SRC沒有的檔案 --delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案 --delete-after 傳輸結束以後再刪除 --ignore-errors 及時出現IO錯誤也進行刪除 --max-delete=NUM 最多刪除NUM個檔案 --partial 保留那些因故沒有完全傳輸的檔案，以是加快隨後的再次傳輸 --force 強制移除目錄，即使不為空白 --numeric-ids 不將數位使用者和組ID匹配為使用者名稱和組名 --timeout=TIME IP逾時時間，單位為秒 -I, --ignore-times 不跳過那些有同樣的時間和長度的檔案 --size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間 --modify-window=NUM 決定檔案是否時間相同時使用的時間戳記視窗，預設為0 -T --temp-dir=DIR 在DIR中建立臨時檔案 --compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份 -P 等同於 --partial --progress 顯示備份過程 -z, --compress 對備份的檔案在傳輸時進行壓縮處理 --exclude=PATTERN 指定排除不需要傳輸的檔案模式 --include=PATTERN 指定不排除而需要傳輸的檔案模式 --exclude-from=FILE 排除FILE中指定模式的檔案 --include-from=FILE 不排除FILE指定模式比對的檔案 --version 列印版本資訊 --address 綁定到特定的地址 --config=FILE 指定其他的設定檔，不使用預設的rsyncd.conf檔案 --port=PORT 指定其他的rsync服務連接埠 --blocking-io 對遠程shell使用阻塞IO -stats 給出某些檔案的傳輸狀態 --progress 在傳輸時現實傳輸過程 --log-format=formAT 指定記錄檔格式 --password-file=FILE 從FILE中得到密碼 --bwlimit=KBPS 限制I/O頻寬，KBytes per second      -h, --help 顯示協助資訊