Hadoop Yarn(二)—— 建立Eclipse工程,hadoopyarn
HamaWhite(QQ:530422429)原創作品,轉載請註明出處:http://write.blog.csdn.net/postedit/40615469。
1. 安裝環境介紹如下:
系統:Ubuntu14.04
Hadoop版本:hadoop-2.5.0(點擊下載)
Java版本:openjdk-1.7.0_55
Eclipse版本:Release 4.4.0 (點擊下載)
2. 把下載Hadoop源碼包 hadoop-2.5.0-src.tar.gz 解壓到工作目錄(本文為/home/baisong),
得到 hadoop-2.5.0-src 檔案夾。
3. 安裝Maven,命令如下:
$ sudo apt-get install maven
4. 安裝Google開源的序列化架構 Protocol Buffers。
1) 下載 protobuf-2.5.0.tar.gz(點擊下載),然後解壓得到 protobuf-2.5.0 檔案夾。
2) 進入protobuf-2.5.0,輸入下屬命令:
$ ./configure
遇到如下錯誤:
分析:此屬於Ubuntu的常見錯誤,可以把常用的庫全部下載,命令如下:
$ sudo apt-get install build-essential
然後再輸入 $ ./configure 命令即可。
3) 順序執行下面三個命令。
$ make
$ make check
$ sudo make install
4) 查看Protocol版本號碼,檢查是否安裝成功。
$ protoc --version
遇到如下錯誤,如下:
分析知是因為系統找不到lib庫,修改 /etc/ld.so.conf 檔案,添加 /usr/local/lib 。如下:
$ sudo gedit /etc/ld.so.conf
內容:include /etc/ld.so.conf.d/*.conf /usr/local/lib
執行下述命令更新庫檔案路徑,然後就能通過 $ protoc --version 命令查看版本號碼。
$ sudo ldconfig
5. 編譯Hadoop源碼產生Jar包,無需編譯native code、測試案例和產生文檔,在/home/baisong/adoop-2.5.0-src目錄下,輸入下述命令:
$ mvn package -Pdist -DskipTests -Dtar
編譯成功後,輸出資訊如下:
6. 產生Eclipse工程檔案,命令如下:
$ cd hadoop-maven-plugins
$ mvn install
$ cd hadoop-2.5.0-src
$ mvn eclipse:eclipse -DskipTests
成功後的輸出資訊如:
7. 在Eclipse中匯入原始碼:”File“ >> "Import" >> "Existing Projects into Workspace",選擇hadoop-2.5.0-src,然後確認。
如所示,匯入後遇到錯誤,共有59個錯誤,但總體上分為3類。解決方案如下:
錯誤1: org.apache.hadoop.ipc.protobuf.× 無法解析
解決方案如下,依次執行下述命令。
$ cd hadoop-2.5.0-src/hadoop-common-project/hadoop-common/src/test/proto //注釋:進入該目錄
$ protoc --java_out=../java *.proto
最後,重新整理Eclipse中的所有工程。至此,只剩下 6 個錯誤。
錯誤2:AvroRecord cannot be resolved to a type TestAvroSerialization.java
解決方案如下:
首先,下載 avro-tools-1.7.4.jar(點擊下載)。存放於 hadoop-2.5.0-src 目錄中。
然後執行下述命令:
$ cd hadoop-2.5.0-src/hadoop-common-project/hadoop-common/src/test/avro
$ java -jar ~/hadoop-2.5.0-src/avro-tools-1.7.4.jar compile schema avroRecord.avsc ../java
最後,重新整理Eclipse工程。只剩下 3個錯誤。
錯誤3: Project 'hadoop-streaming' is missing required source ... Build Path Problem
解決方案如下:
右鍵 hadoop-streaming 項目->properties->左邊Java Build Path->Source->選定錯誤項->右邊Remove,如所示。
至此,在Eclipse中建立Hadoop工程完成。
win7中採用eclipse調用hadoop,在建立mapReduce工程時,出現如下問題: 解答
估計是啟動Eclipse的JRE版本太低,試試換一個高一點版本的JRE。
hadoop eclipse 建立不了檔案夾
hadoop安裝目錄的log檔案夾下,如果你沒修改Log目錄的話