【轉】MapReduce讀取lzo檔案

標籤：

1.讀lzo檔案

需要添加以下代碼，並匯入lzo相關的jar包
 job.setInputFormatClass(LzoTextInputFormat.class);

2.寫lzo檔案

lzo格式預設是不支援splitable的，需要為其添加索引檔案，才能支援多個map並行對lzo檔案進行處理


如果希望reduce輸出的是lzo格式的檔案，添加下面的語句
        FileOutputFormat.setCompressOutput(job, true);
        FileOutputFormat.setOutputCompressorClass(job, LzopCodec.class);
        int result = job.waitForCompletion(true) ? 0 : 1;
        //上面的語句執行完成後，會產生最後的輸出檔案，需要在此基礎上添加lzo的索引
        LzoIndexer lzoIndexer = new LzoIndexer(conf);
        lzoIndexer.index(new Path(args[1]));


如果已經存在lzo檔案，但沒有添加索引，可以採用下面的方法，在輸入路徑的檔案上上添加lzo索引

hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.17.jar com.hadoop.compression.lzo.LzoIndexer hdf://inputpath

或者 

hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.17.jar com.hadoop.compression.lzo.DistributedLzoIndexe hdf://inputpath

 

【轉自】http://blog.csdn.net/wisgood/article/details/17080361

【轉】MapReduce讀取lzo檔案