Eclipse上運行第一個Hadoop執行個體 - WordCount(單詞統計程式)

標籤：style   blog   http   io   ar   color   os   使用   sp   

需求

　　計算出檔案中每個單詞的頻數。要求輸出結果按照單詞的字母順序進行排序。每個單詞和其頻數佔一行，單詞和頻數之間有間隔。

　　比如，輸入一個檔案，其內容如下：

　　hello world

　　hello hadoop

　　hello mapreduce

　　對應上面給出的輸入範例，其輸出範例為：

　　hadoop 1

　　hello 3

　　mapreduce 1

　　world 1

方案制定

　　對該案例，可設計出如下的MapReduce方案：

　　1. Map階段各節點完成由輸入資料到單詞切分的工作

　　2. shuffle階段完成相同單詞的聚集再到分發到各個Reduce節點的工作 (shuffle階段是MapReduce的預設過程)

　　3. Reduce階段負責接收所有單詞並計算各自頻數

小結

　　WordCount是一個很經典的Hadoop樣本，它雖然簡單，但具有很大的代表性。

　　從某個程度上來說也反映了其設計的初衷，對記錄檔的分析。

Eclipse上運行第一個Hadoop執行個體 - WordCount(單詞統計程式)