【大資料數列】windows環境下搭建hadoop開發環境從hadoop URL讀取資料

標籤：oca   actor   sharp   etc   int   hadoop2   ring   src   stream   

前言

搭建完hadoop叢集之後在windows環境下搭建java項目進行測試 操作hdfs中的檔案

版本一

package com.slp.hadoop274.hdfs;import java.io.IOException;import java.io.InputStream;import java.net.URL;import java.net.URLConnection;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.junit.Test;/** *  * @author sangliping *完成hdfs操作 */public class TestHDFS {    /**     * 讀取hdfs檔案     * @throws IOException      */@Testpublic void readFile() throws IOException{URL url = new URL("hdfs://192.168.181.201:8020/user/sanglp/hadoop/copyFromLocal");URLConnection con = url.openConnection();InputStream is = con.getInputStream();byte[] buf = new byte[is.available()];is.read(buf);is.close();String str = new String(buf,"UTF-8");System.out.println(str);}}

　　以上運行測試的時候會報錯，原因是URL無法識別hdfs協議。

版本二、

package com.slp.hadoop274.hdfs;import java.io.IOException;import java.io.InputStream;import java.net.URL;import java.net.URLConnection;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.junit.Test;/** *  * @author sangliping *完成hdfs操作 */public class TestHDFS {static{//註冊hdfs協議否則URL無法識別該協議URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());}    /**     * 讀取hdfs檔案     * @throws IOException      */@Testpublic void readFile() throws IOException{URL url = new URL("hdfs://192.168.181.201:8020/user/sanglp/hadoop/copyFromLocal");URLConnection con = url.openConnection();InputStream is = con.getInputStream();byte[] buf = new byte[is.available()];is.read(buf);is.close();String str = new String(buf,"UTF-8");System.out.println(str);}}

　　這個時候就可以正確的列印出hdfs檔案copyFromLocal的檔案內容。

      附：可以將hadoop解壓檔案下etc中的log4j.properties檔案放到專案檔src檔案下使控制台列印更友好。

 

【大資料數列】windows環境下搭建hadoop開發環境從hadoop URL讀取資料