hadoop之mapreduse 在Eclipse下的調試環境篇,hadoopmapreduse

來源:互聯網
上載者:User

hadoop之mapreduse 在Eclipse下的調試環境篇,hadoopmapreduse

搭建完成環境後,開始調試mapreduse程式。但是遇到不停的報錯。本人很討厭在自己的作業系統環境變數裡設定來設定去,包括linux也是。通常喜歡把環境變數設定在啟動程式的指令碼中,讓指令碼自己啟動並執行環境中有合適的環境變數值即可。在Eclipse裡,我預計需要設定hadoop_home變數的值,設定後,不管怎麼調試。都報錯:

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

百度了一下,很多人遇到這類問題。是windows的hadoop安裝目錄下,bin目錄中缺少hadoop.dll和winutils.exe等動態庫。不過我在之前的環節已經放了這些檔案,可是還是不成功。經過數天的尋找,最後發現,hadoop的常規安裝過程中,還要增加bin目錄到path路徑。於是在Eclipse調試環境中,加上path的設定。調試順利通過。

不多說,注意看圖:

選擇Debug配置項,設定環境參數。

OK進入調試一切正常。


這樣做過之後,如果要打包發布程式,最好記得在指令碼裡配置上述環境變數,否則各種異常奇葩錯誤像你襲來!!


想問一下hadoop程式在eclipse中執行後的,在eclipse中顯示的紅色的調試資訊,誰可以幫我分析一下?

在localhost:50030中和localhost:50070中查看。最好用命令運行,eclipse只是作為一個開發工具
 
你好,我也是學hadoop的,剛上手,問怎用eclipse調試hadoop程式,比如寫了幾個java檔案

1、一種是一邊開發,一邊去部署測試,即兩者分離,這樣的效率會慢些。
2、第二種就是你說的,二者在一起,就是需要在作業系統上裝個eclipse,然後再裝個map/reduce外掛程式即可以邊開發邊部署了。
因此,你的問題,也就是裝個map/reduce外掛程式即可以解決你的問題了。
再搜尋下詳細資料吧。
 

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.