Apache Hadoop 2.0.5-alpha 相對前版本的改進

 

Apache Hadoop 2.0.5-alpha  相比以前發布的穩定版本有了顯著的改進。

下面是一個簡短的概述,包含Distributed File System(Hadoop Distributed File System)和MapReduce方面的改進。

 

HDFS 聯合

 

        為了橫向地測量命名服務的,federation採用多重獨立的命名節點/命名空間

 

        這些命名節點是federated的，這意味著，這些命名節點是獨立的，而且不要求與其他命名節點協同工作。資料節點作為塊的公用儲存空間被所有命名節點使用。在cluster中，每一個資料節點被註冊到所有的命名節點上。資料節點會定期發送心跳和塊報告到命名節點，並處理來自命名節點的命令。

 

        更多詳情，見 HDFS Federation 文檔。

 

 

下一代MapReduce ，又稱YERN，又稱MRv2

 

         在hadoop-0.23中引入的新架構，把JobTracker的兩大主要功能（資源管理和任務生命週期管理）分到了不同的組件中。

 

         新的資源管理者管理應用程式需要的全域電腦資源的分配，每個應用程式的主人管理著這個應用程式的調度和協調。

 

         一個應用程式要麼是上一代MapReduce任務意義上的一個單獨的任務，要麼是一打這樣的任務。

 

        一個資源管理者和每台機器的節點管理者守護進程，管理著那台機器上的使用者進程，形成計算載體。

 

        每個應用程式的主人，實際上是一個特定的架構庫，並負責與資管管理者互動且與節點管理者協同工作，執行和監控任務。

 

        更多詳情，見YARN文檔。

 

原英文文檔：http://hadoop.apache.org/docs/r2.0.5-alpha/