Hadoop hdfs上傳檔案 許可權問題

標籤：clip   png   conf   虛擬機器   com   logs   txt   utils   syntax   

問題描述：

hadoop在虛擬機器中的linux系統下

在本地通過eclipse編寫代碼把本地檔案上傳至hadoop平台的指定目錄

代碼如下：

    @Test        public void upload() throws IOException    {        Configuration conf = new Configuration();        conf.set("fs.defaultFS", "hdfs://lujie01:9000/");        FileSystem fs = FileSystem.get(conf);                Path path = new Path("hdfs://lujie01:9000/aa/lulu.txt");        FSDataOutputStream outputStream = fs.create(path);        FileInputStream inputStream = new FileInputStream("D:/lulu.txt");                IOUtils.copy(inputStream, outputStream);            }

　

檔案上傳有更加簡單的方法：

直接使用FileSystem的copyFromLocalFile方法

fs.copyFromLocalFile(new Path("D:/lulu.txt"), new Path("hdfs://lujie01:9000/aa/lulu.txt"));

在沒有設定使用者或者更改hadoop下/aa檔案夾的許可權之前，原生使用者身份無法通過hadoop的認證，導致無法上傳

錯誤如下：

解決方案一：

 

把/aa檔案夾的許可權設為任何使用者都可讀可寫可操作

再次執行測試程式，正常運行，通過用戶端可以查看aa中的檔案lulu.txt。表示已上傳成功，注意這裡的owner是lujie，電腦本地的使用者名稱

解決方案二：

在Run Configuration中設定Arguments，把使用者名稱改為Linux系統的使用者名稱hadoop

 

解決方案三：

直接在代碼中指定使用者為hadoop

FileSystem fs = FileSystem.get(new URI("hdfs://lujie01:9000/"),conf,"hadoop");

    @Test        public void upload() throws IOException, InterruptedException, URISyntaxException    {        Configuration conf = new Configuration();        conf.set("fs.defaultFS", "hdfs://lujie01:9000/");        FileSystem fs = FileSystem.get(new URI("hdfs://lujie01:9000/"),conf,"hadoop");                Path path = new Path("hdfs://lujie01:9000/aa/lulu1.txt");        FSDataOutputStream outputStream = fs.create(path);        FileInputStream inputStream = new FileInputStream("D:/lulu.txt");                IOUtils.copy(inputStream, outputStream);            }

　　　　

上傳成功後，在用戶端查看

 

 

 

 

　　　

 

Hadoop hdfs上傳檔案 許可權問題