hadoop學習筆記(四)——eclipse+maven+hadoop2.5.2源碼

標籤：hadoop   大資料   源碼   

 Eclipse中用maven匯入hadoop源碼

1)  安裝並配置maven環境變數

M2_HOME: D:\profession\hadoop\apache-maven-3.3.3

PATH: %M2_HOME%\bin;

2)  驗證：mvn –version

3)  下載protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip

4)  將protoc-2.5.0-win32中的protoc.exe拷貝到c:\windows\system32中

5)  將protoc.exe檔案拷貝到解壓後的XXX\protobuf-2.5.0\src目錄中

6)  進入XXX\protobuf-2.5.0\java 目錄

執行【mvn package】命令編輯該包 產生protobuf-java-2.5.0.jar檔案（位於target目錄中）。

（註：有可能報一大堆error，可以刪除檔案，重新解壓縮，重新執行【mvn package】命令就OK了）

輸出資訊：[INFO] BUILD SUCCESS

7)  驗證：protoc –version

8)  配置protoc.exe的path路徑，並重啟電腦

9)  下載maven包hadoop-2.5.2-src.tar.gz

10)     cmd進入hadoop-maven-plugins目錄，

運行mvn install

輸出資訊：[INFO] BUILD SUCCESS

11)     cmd進入hadoop-2.5.2-src目錄，

運行mvn eclipse:eclipse –DskipTests

輸出資訊：[INFO] BUILD SUCCESS

12)     eclipse，選擇import maven projects，點擊Browse… 選擇hadoop源碼根目錄，匯入各個項目

13)     一大錐報錯，右鍵,maven,disabledependency management, enable dependency management,之後只剩餘common包報錯

14)     project->buildautomacilly，取消maven自動編譯同步

15） Q:Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.5.2:protoc(compile-protoc) on project hadoop-                                   common:org.apache.maven.plugin.MojoExecutionException: ‘protoc --version‘ did notreturn a version

         A:這個要分兩種情況看，第一種情況可能是由於沒有安裝或者安裝不成功protobuf程式導致的，第二種情況，已經成功安裝了                  protobuf程式，protoc -–version也成功的返回了版本號碼，但是還是報上述異常，這種情況一般是由於沒有配置protoc的path路             徑導致的

16）自從把hadoop版本選成了2.5.2版本之後就開始悲劇了，網上可供借鑒的資料聊聊無幾，全靠自己摸索，所以大家以後選擇版本的時候還是選擇成熟福士的版本比較容易些

hadoop學習筆記(四)——eclipse+maven+hadoop2.5.2源碼