Hadoop原始碼分析（一）源碼結構

Hadoop原始碼分析（一）源碼結構

本文並非完全原創，根據文章：http://caibinbupt.iteye.com/blog/262412

的一些學習心得。

首先給出源碼包：

功能分析：

Dependences

tool

提供一些命令列工具，如DistCp，archive

mapreduce

Hadoop的Map/Reduce實現

filecache

提供HDFS檔案的本機快取，用於加快Map/Reduce的資料訪問速度

fs

檔案系統的抽象，可以理解為支援多種檔案系統實現的統一檔案提供者

hdfs

HDFS，Hadoop的Distributed File System實現

ipc

一個簡單的IPC的實現，依賴於io提供的編解碼功能

參考：http://zhangyu8374.iteye.com/blog/86306

io

展示層。將各種資料編碼/解碼，方便於在網路上傳輸

net

封裝部分網路功能，如DNS，socket

security

使用者和使用者組資訊

conf

系統的配置參數

metrics

系統統計資料的收集，屬於網管範疇

util

工具類

record

根據DDL（資料描述語言 (Data Description Language)）自動產生他們的編解碼函數，目前可以提供C++和Java

http

基於Jetty的HTTP Servlet，使用者通過瀏覽器可以觀察檔案系統的一些狀態資訊和日誌

log

提供HTTP訪問日誌的HTTP Servlet