eclipse下hadoop應用開發有感

標籤：windows   ubuntu   設定檔   linux   伺服器   

   最近在學習hadoop，首先通過網上大把的教程搭建好了完全分布式環境，在分布式環境上運行wordcount也成功，接下來就打算自己寫mr來處理實際的業務了，在真正的開發開始之前首先要搭建好開發環境啊，所以就想到了eclipse，可接下來遇到了好多的問題：

1、首先是考慮到找一個hadoop的外掛程式，安裝好後可以直接建立mr工程也可以運行，可是沒想到在windows下用hadoop的外掛程式配合進行開發，可是遇到的2個問題是對應版本的外掛程式比較難找，自己編譯也比較麻煩，但是如果可以自己編譯成功那是最好；後來自己就安裝了一台ubuntu的案頭版，然後在這台伺服器上安裝了eclipse，但是由於外掛程式問題，安裝完外掛程式不能建立串連。

2、不能用外掛程式，也不用windows環境後，我在linux下的eclipse下自己建立立了java工程匯入了所有的包和伺服器端的設定檔，但是發現內建的wordcount可以運行，自己寫的mr程式就運行不了，後來才發現是自己對於遠程開發和調試理解的不對，要想運行mr首先要把他打包成jar然後上傳到分布式環境中然後才可以在eclipse上運行，查看作業記錄等。主要是參考了下面這篇文章

http://qindongliang1922.iteye.com/blog/2036619

本文出自 “seavar” 部落格，請務必保留此出處http://4397407.blog.51cto.com/4387407/1435289