HDFS的HA備份比較

 總結了一下HDFS的幾種HA機制，簡單從幾個角度做了個比較，參見以下的類表

 

方案	說明	優點	缺點	恢複方式
SecondnaryNameNode	在主機定期下載fsimage,editlog，checkpoint合并成一個大檔案fsimage	減少了NameNode恢復	只提供備份方案，仍有資料丟失的可能，資料可能會不一致恢復比較長	按照備機的fsimage進行恢複
Backup NameNode	NameNode同步中繼資料的操作到BackupNode，backupNode做editlog更新，並自己做checkpoint儲存是分開的類似於warm standby	因中繼資料操作同時在主備上都成功時才算成功，資料一致	backup沒有block report的相關資訊，在恢複時，dataNode需要上報block資訊，所以仍然需要一定的時間。	用backup上的中繼資料檔案進行恢複，在主、備上都可以
avata	dataNode blockreport 主備NameNode，主寫日誌到NFS，備定期讀NFS中的日誌合并到記憶體	hot standby切換的時間短資料一致	複雜度比較高仍然需要人工進行切換在切換時，需要注意備應用到所有的日誌後，才可以提供服務	當NameNode失效後，需要人工確認，手動把虛擬IP切換到備機上
hadoop2.0	類似於avata，採取共用儲存（SAN等）的方式，從節點不斷的監控共用儲存的日誌（升級到active，需要確保日誌應用完畢），將改變應用到自身	hot standby切換時間短資料一致	還不太成熟	暫時也是手動進行切換
DRBD	依賴於成熟的DRBD進行中繼資料的備份	備份的效率比較高	沒有做到熱備切換時間比較長	啟用備用機器的NameNode，讀取DRBD的備份中繼資料