Linux Hadoop運行應用程式開源實現

Linux Hadoop還是比較常用的，於是我研究了一下Linux Hadoop，在這裡拿出來和大家分享一下，希望對大家有用。Linux Hadoop是什麼.

Linux Hadoop是一個用於運行應用程式在大型叢集的廉價硬體裝置上的架構。Linux Hadoop為應用程式透明的提供了一組穩定/可靠的介面和資料運動。在Linux Hadoop中實現了Google的MapReduce演算法，它能夠把應用程式分割成許多很小的工作單元，每個單元可以在任何叢集節點上執行或重複執行。

此外，Linux Hadoop還提供一個Distributed File System用來在各個計算節點上儲存資料，並提供了對資料讀寫的高吞吐率。由於應用了map/reduce和Distributed File System使得Linux Hadoop架構具有高容錯性，它會自動處理失敗節點。已經在具有600個節點的叢集測試過Linux Hadoop架構。

Google的資料中心使用廉價的Linux PC機組成叢集，在上面運行各種應用。即使是分布式開發的新手也可以迅速使用Google的基礎設施。核心組件是3個：

1、GFSGoogle File System）。

一個Distributed File System，隱藏下層負載平衡，冗餘複製等細節，對上層程式提供一個統一的檔案系統API介面。Google根據自己的需求對它進行了特別最佳化，包括：超大檔案的訪問，讀操作比例遠超過寫操作，PC機極易發生故障造成節點失效等。

GFS把檔案分成64MB的塊，分布在叢集的機器上，使用Linux的檔案系統存放。同時每塊檔案至少有3份以上的冗餘。中心是一個Master節點，根據檔案索引，找尋檔案塊。詳見Google的工程師發布的GFS論文。

2、MapReduce。

Google發現大多數分布式運算可以抽象為MapReduce操作。Map是把輸入Input分解成中間的Key/Value對，Reduce把Key/Value合成最終輸出Output。這兩個函數由程式員提供給系統，下層設施把Map和Reduce操作分布在叢集上運行，並把結果儲存在GFS上。

3、BigTable。

一個大型的分散式資料庫，這個資料庫不是關係式的資料庫。像它的名字一樣，就是一個巨大的表格，用來儲存結構化的資料。

開源實現

這個分布式架構很有創造性，而且有極大的擴充性，使得Google在系統輸送量上有很大的競爭力。因此Apache基金會用Java實現了一個開源版本，支援Fedora等Linux平台。目前Linux Hadoop受到Yahoo的支援，有Yahoo員工長期工作在項目上，而且Yahoo內部也準備使用Linux Hadoop代替原來的基於FreeBSD的系統。

Linux Hadoop實現了HDFS檔案系統和MapRecue。目前版本是0.16。還不成熟，但是已經可以在2000個節點上運行。使用者只要繼承MapReduceBase，提供分別實現Map和Reduce的兩個類，並註冊Job即可自動分布式運行。

HDFS把節點分成兩類：NameNode和DataNode。NameNode是唯一的，程式與之通訊，然後從DataNode上存取檔案。這些操作是透明的，與普通的檔案系統API沒有區別。MapReduce則是JobTracker節點為主，分配工作以及負責和使用者程式通訊。

目前這個項目還在進行中，還沒有到達1.0版本，和Google系統的差距也非常大，但是進步非常快，值得關注。另外，這是雲端運算Cloud Computing）的初級階段的實現，是通向未來的橋樑。

項目首頁：http://Linux Hadoop.apache.org一個分布式系統基礎架構，由Apache基金會開發。使用者可以在不瞭解分布式底層細節的情況下，開發分布式程式。充分利用叢集的威力高速運算和儲存。

Shenzhen Universiade - Shenzhen 2011 Summer Universiade

1. Linux Mono項目的Beta3版已經發布學習到更多的RPM在here
2. Linux CVS確認系統中是否安裝xinetd
3. Linux設定檔與使用者管理相關係統檔案
4. Linux檔案類型全解析
5. Linux交換分區簡介與實驗情境及過程