【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任務的區別

標籤：

eclipse中的 調試運行 及 “run on hadoop”預設只是運行在單機上的，因為要想在叢集中讓程式分布式運行還要經曆上傳類檔案、分發到各個節點等過程，

一個簡單的“run on hadoop”只是啟動了本地hadoop類庫來運行你的程式而已，

在Hadoop cluster的web管理頁面（http://192.168.2.2:8088/cluster/apps）上是看不到任何作業資訊的，因為你的作業根本就沒有運行在叢集上。

 

打包成jar方法：

　　rm tmp/*

　　cp xmlparser_hadoop* tmp/

　　jar -cvf xmlparser_hadoop.jar -C tmp/ .

運行方法：

    hadoop:/usr/local/hadoop-2.6.0$ bin/hadoop jar xmlparser_hadoop.jar xmlparser_hadoop hdfs://192.168.2.2:9000/user/input hdfs://192.168.2.2:9000/user/output/xmlparser

附錄：

如何讓你的作業在Hadoop叢集中真正實現分布式運行

http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html

 

【hadoop】 eclipse中的“run on hadoop”和打包成jar提交任務的區別