Eclipse匯入Hadoop源碼項目及編寫Hadoop程式

標籤：

一

Eclipse匯入Hadoop源碼項目

基本步驟：

1）在Eclipse建立一個java項目【hadoop-1.2.1】

2)將Hadoop壓縮包解壓目錄src下的core，hdfs，mapred，tools，example四個目錄copy到上述建立項目的src目錄下

3）右擊選擇 Build Path，修改Java Build Path中【Source】，刪除src，添加src/core,src/hdfs,src/mapred,src/tools幾個源碼目錄；

4）在項目中建立一個lib目錄，添加項目依賴jar包，匯入Hadoop解壓縮目錄的lib下所有jar包（去掉兩個文檔），不要漏掉其子目錄jsp-2.1中的jar包，匯入ant程式lib下所有jar包

5）選擇lib目錄下的所有jar包，然後右擊選擇Build Path添加

6)右擊項目選擇Build Project，重新編譯一下工程，發現有錯誤

7）匯入ant包，把ant下的所有jar包匯入lib目錄下，右擊項目選擇Build Path-->Libraries-->Add JARs-->Hadoop-1.2.1-->lib就會顯示為加進來的包，點擊ok結束。

8）在編譯一下工程，發現還是有錯，接著右擊項目選擇Build Path-->Libraries找到JRE System Library-->點擊Access rules:No rules defined -->選擇Edit

Resolution框改為Accessible，Rule Pattern填**/*點ok

至此完成。

二、在Eclipse下編寫Hadoop程式

基本步驟：

1）建立Hadoop工程，在工程中建立一個lib目錄，copy Hadoop壓縮包解壓目錄lib下的幾個jar包，分別為：

其中，Hadoop-core-1.2.1.jar就在Hadoop-1.2.1目錄下，然後添加到Build Path路經下

2）添加Hadoop的設定檔

點擊項目建立一個檔案夾，命名為conf，在裡面需要放兩個設定檔，分別為core-site.xml和hdfs-site.xml

3)添加單元測試包JUnit4

選擇項目右擊選擇Build Path-->Libraries-->Add Library-->JUnit -->JUnit4-->ok

到此就可以在項目的src下建立包和測試類別對hdfs進行增、刪、改、查等操作

例：查看hdfs下的某個檔案類容並在控制台上顯示，代碼如下：

package org.chaofn.hadoop.hdfs;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils;import org.junit.Test;public class HDFSUrlTest {   //讓java程式識別HDFS的URL    static{        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());    }        //查看檔案內容    @Test    public void testRead() throws Exception{        InputStream in=null;        //檔案路徑        String fileUrl="hdfs://linux.chaofn.org:9000/wc/input/core-site.xml";        try{            in=new URL(fileUrl).openStream();        //將檔案內容讀出來列印到控制台        IOUtils.copyBytes(in, System.out, 4096, false);        }finally{            IOUtils.closeStream(in);        }    }    }

 

Eclipse匯入Hadoop源碼項目及編寫Hadoop程式