hadoop的實現-序

搗鼓hadoop有一段時間了，由於工作的內容就是hadoop平台，但是由於開始對hadoop一無所知，必須在網上尋找各種資訊學習hadoop，學習的過程中，發現hadoop管理營運的文章，網上還是挺豐富的，但是對於hadoop實現細節這塊，很多是源碼分析，這對於初學者來講很是痛苦，包括本人，要瞭解hadoop實現細節，也必須看源碼，

實際上，我最開始不是為了讀源碼，我只是感興趣hadoop的實現細節，詳細運作流程，代碼因為是我對某個細節感興趣，再去仔細閱讀了。例如我負責hadoop平台，裡面就有重要資料，HDFS與傳統的儲存不同，一旦namenode遺失資料，會造成不會恢複的災難，保護這個資料，是我的重要工作，而我是為了更好的保證HDFS資料的可靠性，我需要的是知道HDFS的實現細節，我可以對症下藥做備份，做還原，而不是看源碼。

但是很可惜，我沒發現有講hadoop細節比較詳細，卻不以源碼為主的文章，本系列文章就是為了講hadoop實現細節為主，源碼為輔的文章。

希望本文，能給那些不想先傷腦筋讀源碼，卻想知道hadoop實現細節的IT人士提供微薄之力。

本系列部落格，分為入門篇和進階篇，入門篇講解hadoop的HDFS和mapred的詳細運作流程，和對應的關鍵類(不會有詳細的代碼),讓初學者對hadoop可以快速瞭解hadoop的架構，並選擇自己感興趣的模組去詳細閱讀源碼。進階篇會講解hadoop除了基本流程以外又比較重要的一些模組的實現。

本系類部落格，都是基於apache hadoop 1.02的源碼實現做講解。

本文適用於，已經開始使用hadoop，又想瞭解hadoop實現細節的人。