《Hadoop基礎教程》之初識Hadoop

標籤：

Hadoop一直是我想學習的技術，正巧最近項目組要做電子商城，我就開始研究Hadoop，雖然最後評鑑Hadoop不適用我們的項目，但是我會繼續研究下去，技多不壓身。

         《Hadoop基礎教程》是我讀的第一本Hadoop書籍，當然線上只能試讀第一章，不過對Hadoop曆史、核心技術和應用情境有了初步瞭解。

 

• Hadoop曆史

        雛形開始於2002年的Apache的Nutch，Nutch是一個開源Java 實現的搜尋引擎。它提供了我們運行自己的搜尋引擎所需的全部工具。包括全文檢索搜尋和Web爬蟲。

        隨後在2003年Google發表了一篇技術學術論文Google檔案系統（GFS）。GFS也就是google File System，google公司為了儲存海量搜尋資料而設計的專用檔案系統。

        2004年Nutch創始人Doug Cutting基於Google的GFS論文實現了分布式檔案儲存體系統名為NDFS。

        2004年Google又發表了一篇技術學術論文MapReduce。MapReduce是一種編程模型，用於大規模資料集（大於1TB）的並行分析運算。

        2005年Doug Cutting又基於MapReduce，在Nutch搜尋引擎實現了該功能。

        2006年，Yahoo僱用了Doug Cutting，Doug Cutting將NDFS和MapReduce升級命名為Hadoop，Yahoo開建了一個獨立的團隊給Goug Cutting專門研究發展Hadoop。

        不得不說Google和Yahoo對Hadoop的貢獻功不可沒。

 

• Hadoop核心

        Hadoop的核心就是HDFS和MapReduce，而兩者只是理論基礎，不是具體可使用的進階應用程式，Hadoop旗下有很多經典子項目，比如HBase、Hive等，這些都是基於HDFS和MapReduce發展出來的。要想瞭解Hadoop，就必須知道HDFS和MapReduce是什麼。

 

• HDFS

HDFS（Hadoop Distributed File System，HadoopDistributed File System），它是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高輸送量的資料訪問，適合那些有著超大資料集（large data set）的應用程式。

 

HDFS的設計特點是：

1、大資料檔案，非常適合上T層級的大檔案或者一堆大資料檔案的儲存，如果檔案只有幾個G甚至更小就沒啥意思了。

2、檔案分Block Storage，HDFS會將一個完整的大檔案平均分Block Storage到不同計算機上，它的意義在於讀取檔案時可以同時從多個主機取不同區塊的檔案，多主機讀取比單主機讀取效率要高得多得都。

3、流式資料訪問，一次寫入多次讀寫，這種模式跟傳統檔案不同，它不支援動態改變檔案內容，而是要求讓檔案一次寫入就不做變化，要變化也只能在檔案末新增內容。

4、廉價硬體，HDFS可以應用在普通PC機上，這種機制能夠讓給一些公司用幾十台廉價的電腦就可以撐起一個大資料集群。

5、硬體故障，HDFS認為所有電腦都可能會出問題，為了防止某個主機失效讀取不到該主機的塊檔案，它將同一個檔案塊副本分配到其它某幾個主機上，如果其中一台主機失效，可以迅速找另一塊副本取檔案。

 

HDFS的關鍵元素：

Block：將一個檔案進行分塊，通常是64M。

NameNode：儲存整個檔案系統的目錄資訊、檔案資訊及分塊資訊，這是由唯一一台主機專門儲存，當然這台主機如果出錯，NameNode就失效了。在Hadoop2.*開始支援activity-standy模式----如果主NameNode失效，啟動備用主機運行NameNode。

DataNode：分布在廉價的電腦上，用於儲存Block塊檔案。

 

 

• MapReduce

通俗說MapReduce是一套從海量·來源資料提取分析元素最後返回結果集的編程模型，將檔案分布式儲存到硬碟是第一步，而從海量資料中提取分析我們需要的內容就是MapReduce做的事了。

 

下面以一個計算海量資料最大值為例：一個銀行有上億儲戶，銀行希望找到儲存金額最高的金額是多少，按照傳統的計算方式，我們會這樣：

Java代碼  

1. Long moneys[] ...  
2. Long max = 0L;  
3. for(int i=0;i<moneys.length;i++){  
4.   if(moneys[i]>max){  
5.     max = moneys[i];  
6.   }  
7. }  

 

 如果計算的數組長度少的話，這樣實現是不會有問題的，還是面對海量資料的時候就會有問題。

MapReduce會這樣做：首先數字是分布儲存在不同塊中的，以某幾個塊為一個Map，計算出Map中最大的值，然後將每個Map中的最大值做Reduce操作，Reduce再取最大值給使用者。

        MapReduce的基本原理就是：將大的資料分析分成小塊逐個分析，最後再將提取出來的資料匯總分析，最終獲得我們想要的內容。當然怎麼分塊分析，怎麼做Reduce操作非常複雜，Hadoop已經提供了資料分析的實現，我們只需要編寫簡單的需求命令即可達成我們想要的資料。

 

 

• 總結

        總的來說Hadoop適合應用於大資料存放區和大資料分析的應用，適合於伺服器幾千台到幾萬台的叢集運行，支援PB級的儲存容量。

        Hadoop典型應用有：搜尋、Tlog、推薦系統、資料分析、視頻映像分析、資料儲存等。

        但要知道，Hadoop的使用範圍遠小於SQL或Python之類的指令碼語言，所以不要盲目使用Hadoop，看完這篇試讀文章，我知道Hadoop不適用於我們的項目。不過Hadoop作為大資料的熱門詞，我覺得一個狂熱的編程愛好者值得去學習瞭解，或許你下一個歸宿就需要Hadoop人才，不是嗎。

 

《Hadoop基礎教程》之初識Hadoop