標籤:比對程式目錄中的異常檔案 防止掛馬
一.問題的來源
有時候copy一些重要的資料,得到之後需要與原資料進行核對是否資料一致。這就需要進行校正。
二.問題的分析
校正資料有多種方法,最簡單的是使用檔案的md5碼進行校正。但是檔案很多,手動的每個檔案進行md5校正顯然不合適,這就需要編寫shell程式解決。
三.問題的解決
通過shell程式解決檔案校正問題
1.通過命令得到檔案md5值
比如得到的資料檔案夾為 data 檔案夾
則在data 檔案夾中輸入以下命令
find ./ -type f -print | xargs md5sum > /tmp/md5.1cd /tmpcat md5.1 | sort > md5.1.1rm md5.1 mv md5.1.1 md5.1
2.在原資料檔案夾中 data 檔案夾中輸入以下命令
find ./ -type f -print | xargs md5sum > /tmp/md5.2cd /tmpcat md5.2 | sort > md5.2.1rm md5.2mv md5.2.1 md5.2
3.把上面得到的md5.1 和md5.2放到同一個伺服器同一個目錄下,比如從server_1 scp 到server_2下
scp server_1:/tmp/md5.1 /tmp/
4.執行 diff 如果輸出為空白,則說明資料一直,否則,說明資料不一致
diff /tmp/md5.1 /tmp/md5.2
四.總體思路
通過得到原檔案夾下和新檔案夾下的所有檔案的md5值,然後把md5值進行排序,最後比較兩md5值是否相同即可
五.注意
實際上 上述操作中的md5.1 (或md5.2) 中的內容是 "檔案名稱 md5值" 的格式。
六.全自動shell程式
比如 有兩台機器 server_1 和server_2 ,剛從server_1 上的 /home/longxibendi/ 下scp 的 data檔案夾到 server_2 的 /home/longxibendi/ 下
程式如下:
#!/bin/bash#author longxibendi#function check file1 and file2 use their md5 #support foldercd /home/longxibendi/datafind ./ -type f -print | xargs md5sum > /tmp/md5.1cd /tmpcat md5.1 | sort > md5.1.1rm md5.1 mv md5.1.1 md5.1ssh [email protected]_2cd /home/longxibendi/datafind ./ -type f -print | xargs md5sum > /tmp/md5.2cd /tmpcat md5.2 | sort > md5.2.1rm md5.2mv md5.2.1 md5.2scp server_1:/tmp/md5.1 /tmp/md5.2# if file1 and file2 is same ,then print It is OK # else if file1 and file2 is different ,then print They are differentif [ -z "`diff md5.1 md5.2`" ] ;then echo "It is OK";else echo "They are different";fi
本文出自 “11726068” 部落格,謝絕轉載!
自動校正檔案夾及其內容shell程式(md5 校正檔案夾中所有資料)