hadoop學習;hdfs操作；運行拋出許可權異常: Permission denied；api查看源碼方法；源碼不停的向裡迴圈；抽象類別通過debug尋找源碼

標籤：style   class   blog   c   java   ext   

eclipse快速鍵alt+shift+m將選中的代碼封裝成方法；alt+shift+l將選中的代碼添加對應類型放回參數

當調用一個陌生方法時，進入源碼不停的向裡迴圈，當找不到return類似方法的時候，可以看到最原始的方法

package com.kane.hdfs;


import java.io.InputStream;
import java.net.URL;


import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;


public class Test {
//hadoop檔案系統下的根目錄下的hello檔案
public static final String HDFS_PATH="hdfs://centos:9000/hello";
/**
* @param args
*/
public static void main(String[] args) throws Exception{
// 告訴java可以讀hdfs協議
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
final URL url=new URL(HDFS_PATH);


final InputStream in=url.openStream();
/**
* 參數依次是輸入資料流，輸出資料流，緩衝大小，是否關閉流
*/
IOUtils.copyBytes(in, System.out, 1024,true);
}


}

package com.kane.hdfs;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;


import org.apache.hadoop.conf.Configuration;


import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;


public class OpHDFS {
public static final String PATH="hdfs://centos:9000";
public static final String DIR_PATH="/kane";
public static final String FILE_PATH="/kane/needkane";
/**
* @param args
* @throws URISyntaxException 
* @throws IOException 
*/
public static void main(String[] args) throws Exception {
final FileSystem fs=FileSystem.get(new URI(PATH),new Configuration());
//建立檔案夾
//makeDir(fs);
//上傳檔案
//uploadFile(fs);
//下載檔案
//downLoad(fs);
//刪除檔案
deleteFile(fs);

}
private static void deleteFile(final FileSystem fs) throws IOException {
//第二個參數是否遞迴，如果是檔案夾就遞迴刪除，當然檔案也沒關係
fs.delete(new Path(FILE_PATH), true);
}
public static void makeDir(FileSystem fs) throws IOException {
fs.mkdirs(new Path(DIR_PATH));
}

public static void uploadFile(FileSystem fs) throws Exception {

//我們查看源碼的時候，後來直到filesystem，又因為是抽象類別，只好打斷點擷取哪個類實現了

final FSDataOutputStream out=fs.create(new Path(FILE_PATH));
//這裡的in是本地檔案的輸入資料流
final FileInputStream in=new FileInputStream("D:/wordorid");
//參數輸入資料流，輸出資料流，緩衝大小，是否關閉流
IOUtils.copyBytes(in, out,1024,true );
}
public static void downLoad(FileSystem fs) throws Exception {
//從hdfs讀取檔案
final FSDataInputStream in=fs.open(new Path(FILE_PATH));
IOUtils.copyBytes(in, System.out, 1024,true);
}

}

解決辦法修改hadoop根目錄許可權 hadoop fs -chmod 777 /

fs.create(new Path(FILE_PATH))，ctrl+左擊查看源碼一直到最裡面，結果發現時抽象類別

抽象類別通過debug尋找源碼