ubuntu 下安裝偽分布式 hadoop

標籤：hadoop   偽分布式   ubuntu   

安裝準備：(1)hadoop安裝包：hadoop-1.2.1.tar.gz(2)jdk安裝包：jdk-7u60-linux-i586.gz(3)要是需要eclipse開發的話 還需要eclipse安裝包 和eclipse和hadoop相關連的jar包。
安裝：(1)可以選擇一個建立使用者安裝 也可以使用目前賬戶。(2)規定 所屬使用者組：
(3) 給予使用者hadoop許可權：sudo vim /etc/sudoers 修改添加： 說到vim ubuntu本身內建的是vim tiny 不可用 需要使用的是vim full版本 需要下載安裝：sudo apt-get  remove vim-commonsudo apt-get install vimvim 本身的一些配置可根據自己的喜好進行設定。(4) 安裝 jdk：根據自己需要選擇安裝路徑、sudo mkdir /usr/javatar -zxvf jdk-7u60-linux-i586.gzmv jdk-1.7.0 jdk(修改名字 可以不設定（最好）)刪除安裝包：(5)  配置jdk環境：sudo vim /etc/profile 添加
更新一下（必須）：source /etc/profile測試一下：
jdk 完成。(6) ssh 免密碼：一般ssh-client 包含在ubuntu系統中，但是ssh-server並沒有 安裝，可以通過 ssh ip 測試下；安裝ssh-server: sudo apt-get install ssh安裝之後進行操作：
產生：





ssh 可以登入。(7) 安裝hadoop可以先建立一個hadoop到檔案夾：sudo mkdir /usr/hadoopcd /usr/hadoop/sudo tar -zxvf hadoop-1.2.1.tar.gzsudo mv hadoop-1.2.1 hadoopsudo chown -R hadoop:hadoop hadoop 將檔案夾hadoop 讀許可權賦予hadoop使用者sudo rm -rf hadoop-1.2.1.tar.gz安裝之後需要進行配置：配置 /etc/profile 添加：sudo vim /etc/profile
配置hadoop-env.sh檔案：sudo vim /usr/hadoop/conf/hadoop-env.sh:

建立一個檔案夾：用於配置hadoop.tmp.dir參數：sudo mkdir /usr/hadoop/tmp
配置核心檔案：core-site.xml:

hdfs-site.xml:

mapred-site.xml:

啟動：由於前面配置 輸入：格式化節點：hadoop namenode -format啟動：start-all.shjps 查看
停止：stop-all.sh 
（8）安裝eclipse同上 先建立一個檔案夾 解壓安裝....
進去啟動eclipse 遇到個小問題：      eclipse找不到jdk 或是jre解決：cd /home/hadoop/eclipse (安裝eclipse)sudo ln -sf $JRE_HOME jre就是這個：
進行eclipse 配置hadoop 將相關連的外掛程式 複製到 eclipse下到plugins檔案夾裡面：

啟動 eclipse： window->perferences:
hadoop的安裝目錄。設定：右鍵下面的空白地區：
出現：並配置




點開左側小象：
eclipse配置完成。
以後可以在eclipse書寫作業  然後到終端進行執行。
配置遇到的問題：namenode datanode 沒有起來：解決如下：(1)刪除 /usr/hadoop/tmp(2)在建立 ： sudo mkdir /usr/hadoop/tmp(3)刪除 /tmp檔案夾下 所有以hadoop開頭的檔案：sudo rm -rf /tmp/hadoop*(4)重新格式化：hadoop namenode -format(5)啟動 start-all.sh

ubuntu 下安裝偽分布式 hadoop