Hadoop Yarn（二）—— 建立Eclipse工程，hadoopyarn
HamaWhite(QQ:530422429)原創作品，轉載請註明出處：http://write.blog.csdn.net/postedit/40615469。
1. 安裝環境介紹如下：
系統：Ubuntu14.04
Hadoop版本：hadoop-2.5.0（點擊下載）
Java版本：openjdk-1.7.0_55
Eclipse版本：Release 4.4.0 (點擊下載)
2. 把下載Hadoop源碼包 hadoop-2.5.0-src.tar.gz 解壓到工作目錄（本文為/home/baisong），
得到 hadoop-2.5.0-src 檔案夾。
3. 安裝Maven，命令如下：
$ sudo apt-get install maven
4. 安裝Google開源的序列化架構 Protocol Buffers。
1) 下載 protobuf-2.5.0.tar.gz（點擊下載），然後解壓得到 protobuf-2.5.0 檔案夾。
2) 進入protobuf-2.5.0，輸入下屬命令：
$ ./configure
遇到如下錯誤：
分析：此屬於Ubuntu的常見錯誤，可以把常用的庫全部下載，命令如下：
$ sudo apt-get install build-essential
然後再輸入 $ ./configure 命令即可。
3) 順序執行下面三個命令。
$ make
$ make check
$ sudo make install
4) 查看Protocol版本號碼，檢查是否安裝成功。
$ protoc --version
遇到如下錯誤，如下：
分析知是因為系統找不到lib庫，修改 /etc/ld.so.conf 檔案，添加 /usr/local/lib 。如下：
$ sudo gedit /etc/ld.so.conf
內容：include /etc/ld.so.conf.d/*.conf /usr/local/lib
執行下述命令更新庫檔案路徑，然後就能通過 $ protoc --version 命令查看版本號碼。
$ sudo ldconfig
5. 編譯Hadoop源碼產生Jar包，無需編譯native code、測試案例和產生文檔，在/home/baisong/adoop-2.5.0-src目錄下，輸入下述命令：
$ mvn package -Pdist -DskipTests -Dtar
編譯成功後，輸出資訊如下：
6. 產生Eclipse工程檔案，命令如下：
$ cd hadoop-maven-plugins
$ mvn install
$ cd hadoop-2.5.0-src
$ mvn eclipse:eclipse -DskipTests
成功後的輸出資訊如：
7. 在Eclipse中匯入原始碼：”File“ >> "Import" >> "Existing Projects into Workspace"，選擇hadoop-2.5.0-src，然後確認。
如所示，匯入後遇到錯誤，共有59個錯誤，但總體上分為3類。解決方案如下：
錯誤1： org.apache.hadoop.ipc.protobuf.× 無法解析
解決方案如下，依次執行下述命令。
$ cd hadoop-2.5.0-src/hadoop-common-project/hadoop-common/src/test/proto //注釋：進入該目錄
$ protoc --java_out=../java *.proto
最後，重新整理Eclipse中的所有工程。至此，只剩下 6 個錯誤。
錯誤2：AvroRecord cannot be resolved to a type TestAvroSerialization.java
解決方案如下：
首先，下載 avro-tools-1.7.4.jar（點擊下載）。存放於 hadoop-2.5.0-src 目錄中。
然後執行下述命令：
$ cd hadoop-2.5.0-src/hadoop-common-project/hadoop-common/src/test/avro
$ java -jar ~/hadoop-2.5.0-src/avro-tools-1.7.4.jar compile schema avroRecord.avsc ../java
最後，重新整理Eclipse工程。只剩下 3個錯誤。
錯誤3： Project 'hadoop-streaming' is missing required source ... Build Path Problem
解決方案如下：
右鍵 hadoop-streaming 項目->properties->左邊Java Build Path->Source->選定錯誤項->右邊Remove，如所示。
至此，在Eclipse中建立Hadoop工程完成。
win7中採用eclipse調用hadoop，在建立mapReduce工程時，出現如下問題： 解答
估計是啟動Eclipse的JRE版本太低，試試換一個高一點版本的JRE。
hadoop eclipse 建立不了檔案夾
hadoop安裝目錄的log檔案夾下，如果你沒修改Log目錄的話
