大資料筆記04：大資料之Hadoop的HDFS（Distributed File System）

標籤：

1.HDFS是什嗎？

HadoopDistributed File System(HDFS)，被設計成適合運行在通用硬體(commodity hardware)上的Distributed File System。它和現有的Distributed File System有很多共同點。

2.HDFS中的基本概念

（1）塊（block）

    " 塊 " 是固定大小的儲存單元，HDFS的檔案被分成塊進行儲存，HDFS的塊預設大小是64MB。檔案傳遞過來之後，HDFS會把檔案拆分成塊進行管理，" 塊"就是檔案儲存體處理的邏輯單元。

（2）HDFS有兩類節點： NameNode 和 DataNode

 • NameNode是HDFS的管理節點，存放檔案中繼資料。

這裡的中繼資料套件括兩個部分：

  --->1.檔案與資料區塊的映射表

  --->2.資料區塊與資料節點的映射表

 

• DateNode是HDFS的工作節點，存放資料區塊。

 

 

3.HDFS體繫結構：

 

客戶想要訪問資料，會先發請求給NameNode查詢中繼資料。通過讀取返回結果，知道檔案存放在哪些節點上。於是到這些節點去拿資料庫，下載完資料區塊之後，在組裝拼裝成完整的資料，也就是我們想要的檔案。

 

大資料筆記04：大資料之Hadoop的HDFS（Distributed File System）