資料同步方案（附Java源碼)

標籤：

一.問題背景
經常碰到要同步資料的情況，而系統內建的複製功能又不能實現增量同步處理，每次都要做全量複製，發生異常情況後只能重頭再來，非常麻煩，優其是對那種大檔案的處理，更是耗時。
二.解決方案
1.計算來源目錄資料指紋
2.計算目標目錄資料指紋
3.對比指紋資料，找出差異項，得到需要添加,刪除或更新的檔案清單，計算出需要更新的資料大小
4.挨個同步差異項，如果碰到大檔案，則緩衝其指紋資料到目標檔案夾中，供下次同步資料時使用
三.資料指紋說明
資料指紋顧名思義，就是對某一檔案夾或檔案的唯一標識，其格式為:
檔案相對路徑＋:(分隔字元)＋修改日期＋:+資料長度＋:+內容指紋
內容指紋是由多個內容塊的md5組成
內容塊就是對大檔案進行分割處理，每次比較資料，最小的同步對象就是內容塊，避免對整個檔案做處理，也是實現增量同步處理的關健點
四.源碼下載
源碼:https://github.com/xxonehjh/file-sync
可執行檔:fileSync.jar
使用說明:java -jar fileSync.jar 來源目錄 目標目錄

資料同步方案（附Java源碼)