Hadoop學習筆記01——HadoopDistributed File System

標籤：

Hadoop有一個稱為HDFS的分布式系統，全稱為Hadoop Distributed Filesystem。

HDFS有塊（block）的概念，預設為64MB，HDFS上的檔案被劃分為塊大小的多個分塊，作為獨立的儲存單元。使用塊的好處在於：1. 一個檔案大小可以大於叢集網路中任意一個磁碟的容量，檔案的所有塊不需要儲存在同一個磁碟上；2.簡化儲存管理；3.提供資料容錯能力和可用性

HDFS叢集有2類節點：一個namenode（管理者）和多個datanode（工作者）。namenode管理檔案系統的命名空間，維護著檔案系統樹及整棵樹內的所有檔案和目錄，這些資訊以兩個檔案形式永久儲存在本地磁碟上：命名空間鏡像檔案和編輯記錄檔。datanode是檔案系統的工作節點，根據需要儲存並檢索資料庫，定期向namenode發送它們所儲存的塊的列表。

 

Hadoop學習筆記01——HadoopDistributed File System