windows下在eclipse上遠端連線hadoop叢集調試mapreduce錯誤記錄

標籤：運行   read   home   分享   img   point   重啟   lips   ges   

第一次跑mapreduce，記錄遇到的幾個問題，hadoop叢集是CDH版本的，但我windows本地的jar包是直接用hadoop2.6.0的版本，並沒有特意找CDH版本的

1.Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start

下載Hadoop2以上版本時，在Hadoop2的bin目錄下沒有winutils.exe和hadoop.dll，網上找到對應版本的這兩個檔案後，放到hadoop的bin下面，並在環境變數裡加上HADOOP_HOME和在path裡加上%HADOOP_HOME%/bin,重啟電腦後再運行就沒這個問題了。

2.atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

下載hadoop-2.6.0-src.tar後解壓，找到hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java複製到工程裡面，包的路徑為org.apache.hadoop.io.nativeio，然後更改第557行為return true。

3.運行結果未報錯，只是運行結果為false，查看hadoop的啟用節點日誌發現報錯：PartialGroupNameException The user name ‘ushio‘ is not found. id: ushio: No such user

在環境變數裡添加HADOOP_USER_NAME變數，值為正確有許可權執行hadoop的使用者名稱，cloudera manager安裝的cdh版本的hadoop的話，值可為hdfs，重啟電腦後就正常運行了。

 

在下面這個網頁找到解決方案的，裡面提到的其餘的錯我沒遇到。

http://blog.csdn.net/congcong68/article/details/42043093

windows下在eclipse上遠端連線hadoop叢集調試mapreduce錯誤記錄