Eclipse下偽分布式運行hadoop例子wordcount

其他版本測試均無效：

本人使用一下配置，成功運行!

eclipse版本：eclipse-jee-europa-winter-linux-gtk.tar

Hadoop版本：hadoop-0.20.2

Linux版本：ubuntu 8

 

一、安裝JDK-6，SSH(略，google一把就是了)

二、安裝以及配置hadoop-0.20.2（略，google一把就是了）

三、Eclipse載入外掛程式

外掛程式在hadoop安裝目錄下的contrib/elicipse-plugin下

無需任何修改將其放置到elcipse安裝目錄下得plugins,然後啟動elcipse即可。

四、運行wordcount（哇靠！？）例子

1、開啟mapreduce perspective

2、配置mapreduce的location（注意要與conf下的設定檔一致）

3、用terminal format一下namenode

4、用terminal start-all.sh

5、既可以見到dfs location,一步步開啟就可以查看整個hdfs的相關目錄的

6、在hdfs的使用者目錄下建立一個目錄（保證不會被許可權這類東東影響）

7、上傳測試檔案上去這個目錄

8、建立一個mapreduce project

9、import wordcount這個類（在src/example/……下,懶省略一萬字，呵呵，不過一層層開啟就可以看到的）

10、右擊這個類，然後在run dialog裡面設定配置選項

有以下兩個注意點：

a、安裝本人以上的配置（hdfs:/localhost:9000）的話，argument的path參數根目錄就是從這個目錄算起，亦即是dfs location查看到的部分

b、一定要填寫jvm的參數

-Xmx500m

因為根據本人暫時的理解，不知道對否，請高人指點。

因為，jobtracker需要根據這個值來為新的job開啟新的vm的，而且預設大小不夠，要500m+

11、最後啟動即可（右擊類，然後選擇“run on hadoop”）

 

結語：

本人覺得elcipse 外掛程式對於提高開發效率沒有什麼協助的

到頭來，還是需要通過terminal以及頁面來查看相關資訊！！！