向HDFS 中寫資料

來源:互聯網
上載者:User

1 這個用的比較少,限制比較大,一般情況下不對已經存在的資料和檔案進行修改,修改的往往是mapreduce 或者其他階段產生的臨時檔案

import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class FilsSystemWrite {/** * @param args * Function: 向hdfs 系統中寫資料 * @throws IOException  */public static void main(String[] args) throws IOException {// TODO Auto-generated method stubConfiguration conf = new Configuration();FileSystem fsin = FileSystem.get(URI.create(args[0]),conf); FileSystem fsout = FileSystem.get(URI.create(args[1]),conf);InputStream in = null;FSDataOutputStream out =null;try{in = fsin.open(new Path(args[0]));out= fsout.create(new Path(args[1]), true);//out= fsout.append(new Path(args[1]));IOUtils.copyBytes(in, out, conf);//out.writeUTF("Hello");  叢集中不允許使用,不然的話,會產生各種資料相關和不一致以及同步性的問題,在mapreduce 階段或者其他產生臨時資料是可以用append}finally{IOUtils.closeStream(in);IOUtils.closeStream(out);}}}

可以寫入新的檔案

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.