使用eclipse編寫Hadoop應用程式

在此，用eclipse編寫了一個簡單的程式。

1）在eclipse下建立一個java工程DFSOperator，並建立相應的類。在建立類的時候不要自己建立包，用系統預設的包。之前一直不能運行成功好像就是建立了自己的包，錯誤提示找不到Class。後來重新建立類在預設的包中，運行成功。

2）配置編譯參數

配置“Build Path”，選中“DFSOperator”，單擊右鍵，點擊所示菜單“Build Path -> ConfigureBuild Path”，進入“Java Build Path”配置介面。選擇“Libraries”標籤頁，點擊右側的“Add External JAR”按鈕，將安裝好的“hadoop-0.20.2-core.jar”添加進來。

3）編輯原始碼

4）編譯產生jar包

右鍵“DFSOperator”項目，選擇“Build Project”，編譯項目工程，編譯“DFSOperator.java”後，產生所示的DFSOperator.class 檔案：

右鍵項目，選擇“Export”，匯出“JAR file”，也就是jar包。然後將匯出的jar 檔案上傳到Hadoop Master 節點。不知道該如何上傳到Hadoop Master，於是跳過了這裡直接把jar檔案拷貝到bin目錄下，執行5）裡面的操作，且測試成功。但是仍然不知道這裡是什麼意思。

5）運行

匯出的jar檔案放到hadoop的bin檔案下，進入Hadoop 的bin 目錄，用以下命令進行測試回合：

(1)ls：查看目前的目錄，檢查dfs_operator.jar是否存在；

(2)./hadoop fs -ls /：查看Hadoop根目錄下是否存在dfs_operator.txt檔案；

(3)./hadoop jar ./dfs_operator.jar DFSOperator：運行dfs_operator.jar，以產生dfs_operator.txt 檔案；

(4)./hadoop fs -ls /：再查看Hadoop根目錄下是否存在dfs_operator.txt檔案；

(5)./hadoop fs -cat /dfs_operator.txt：檢查dfs_operator.txt檔案的內容。

該程式完成的功能簡單，但從中可以學到如何在Windows下利用eclipse進行Hadoop編程。