大資料筆記05：大資料之Hadoop的HDFS（資料管理策略）

標籤：

        HDFS中資料管理與容錯

1.資料區塊的放置

      每個資料區塊3個副本，就像上面的資料庫A一樣，這是因為資料在傳輸過程中任何一個節點都有可能出現故障（沒有辦法，廉價機器就是這樣的），為了保證資料不能丟失，所以存在3個副本，這樣保證了硬體上的容錯，保證資料傳遞過程中準確性。

      3個副本資料，放在兩個機架上。比如上面機架1存在2個副本，機架2存在1個副本。

 

（1）如果就像下面的DataNode1資料區塊無法使用了，可以在機架1上的DataNode2和DataNode3取資料   或者 在機架2上取資料；

 

 

 

（2）如果就像下面這樣，機架1不能使用了，我們可以在機架2上取資料；

 

 

2.心跳檢測

DataNode每隔一段時間就會發送心跳訊息給NameNode，NameNode通過解析這些心跳訊息判斷DataNode的狀態，比如判斷哪些DataNode是掛掉的，哪些是可以使用的。

 

 

 

3. 二級NameNode

NameNode節點只有一個，但是如果NameNode出現故障，整個叢集就會出現問題，所以這裡出現一個NameNode的備份，也就是SecondaryNameNode。中繼資料會定期同步到這個SecondaryNameNode上面。

注意在NameNode正常狀態下，這裡的SecondaryNameNode只會接收備份，不會接收請求。

 

如果NameNode出現了故障，如下：

 

SecondaryNameNode會替換NameNode，成為主的NameNode。

 

大資料筆記05：大資料之Hadoop的HDFS（資料管理策略）