hadoop之mapreduse 在Eclipse下的調試環境篇,hadoopmapreduse
搭建完成環境後,開始調試mapreduse程式。但是遇到不停的報錯。本人很討厭在自己的作業系統環境變數裡設定來設定去,包括linux也是。通常喜歡把環境變數設定在啟動程式的指令碼中,讓指令碼自己啟動並執行環境中有合適的環境變數值即可。在Eclipse裡,我預計需要設定hadoop_home變數的值,設定後,不管怎麼調試。都報錯:
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
百度了一下,很多人遇到這類問題。是windows的hadoop安裝目錄下,bin目錄中缺少hadoop.dll和winutils.exe等動態庫。不過我在之前的環節已經放了這些檔案,可是還是不成功。經過數天的尋找,最後發現,hadoop的常規安裝過程中,還要增加bin目錄到path路徑。於是在Eclipse調試環境中,加上path的設定。調試順利通過。
不多說,注意看圖:
選擇Debug配置項,設定環境參數。
OK進入調試一切正常。
這樣做過之後,如果要打包發布程式,最好記得在指令碼裡配置上述環境變數,否則各種異常奇葩錯誤像你襲來!!
想問一下hadoop程式在eclipse中執行後的,在eclipse中顯示的紅色的調試資訊,誰可以幫我分析一下?
在localhost:50030中和localhost:50070中查看。最好用命令運行,eclipse只是作為一個開發工具
你好,我也是學hadoop的,剛上手,問怎用eclipse調試hadoop程式,比如寫了幾個java檔案
1、一種是一邊開發,一邊去部署測試,即兩者分離,這樣的效率會慢些。
2、第二種就是你說的,二者在一起,就是需要在作業系統上裝個eclipse,然後再裝個map/reduce外掛程式即可以邊開發邊部署了。
因此,你的問題,也就是裝個map/reduce外掛程式即可以解決你的問題了。
再搜尋下詳細資料吧。