標籤:hadoop
(1)環境說明
hadoop的叢集環境我已經在虛擬機器上搭建並能正常運行(見前2篇文章),現在我要在windows下搭建hadoop+eclipse的開發環境。
(2)安裝hadoop-eclipse-plugin-1.1.2.jar外掛程式
hadoop-eclipse-plugin-1.1.2.jar這個外掛程式大家可以自己編譯,或者直接到網上下載。我是直接在網上下載安裝。
下載好後,將hadoop-eclipse-plugin-1.1.2.jar放到eclipse安裝目錄下的plugins檔案夾下。然後重啟eclipse。
在window菜單下選擇prefernece選項,可以看到右邊出現Hadoop Map/Reduce選項,說明外掛程式安裝成功。
(3)添加hadoop檔案夾路徑
首相將下載好的hadoop-1.1.2.tar.gz源碼包解壓到某一個磁碟上。
啟動eclipse,點擊window功能表列選擇prefernece選項,在左側點擊Hadoop Map/Reduce選項,在右邊的輸入框輸入你解壓的hadoop-1.1.2.tar.gz檔案夾位置即可。
(4)配置hadoop連結
選擇window功能表列下的show view選項下的other選項,在彈出的的框中選擇Map/Reduce Locations選項。
這是你會在eclipse下看到多出了Map/Reduce Locations選項:
右鍵選擇New Hadoop Locations。
Host是你的Master主機的地址,Port是連接埠號碼,User name是你登陸的使用者。
點擊finish後你會串連上你的hadoop。
這是後你就可以上傳或下載檔案到hadoop上了。
如果出現上傳或下載失敗,那麼請看下面這篇文章。我是通過添加JAVA_HOME=D:\Program Files\Java\jdk1.7.0_51這個系統變數來解決的。
http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/
備忘:我也是剛起步學習hadoop,可能文章有一些不完整或錯誤的地方,還請大家多多指教,也希望能交流學習,互相促進提高。