hadoop集群環境搭建

1 hadoop集群規劃

1.1 共有A、B、C 三台機器;

1.2 A 作為master,B作為slave1,C作為slave2;

1.3 IP &HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp; A :192.168.1.103; B:192.168.1.104; C:192.168.1.101;

1.4 OS：centos6.2（64bit）

2 hadoop集群搭建步驟

2.1 創建 hadoop使用者，並使該使用者擁有root許可權（在master機器上進行）

#創建hadoop使用者

useradd hadoop

#給使用者hadoop添加密碼

passwd hadoop

#付給hadoop使用者root許可權

vi /etc/passwd  將hadoop使用者的使用者ID 、組ID 都改為0，如hadoop:x:0:0::/home/hadoop:/bin/bash（記得先切換到root使用者哦，其他使用者估計對該檔沒有許可權）

2.2 切換到hadoop使用者，進入hadoop使用者主目錄（在master機器上進行）

#切換到hadoop使用者

su hadoop

根據提示輸入密碼（如果從普通使用者切換到hadoop,需要密碼；如果從root使用者切換到hadoop，不許要輸入密碼，也就沒有這一步了）

#進入hadoop的主目錄

cd /home/hadoop

2.3  安裝JDK環境（hadoop是JAVA編寫的一個工具，需要使用JDK）（在master機器上進行）

yum install openjdk*(yum 是centos上的一個安裝軟體的工具，可以查找軟體、刪除軟體、更新軟體等)

2.4 安裝openssh(hadoop節點間通信需要使用到它，並且相對ssh而言，這個是免費的)（在master機器上進行）

#安裝openssh

yum install openssh*

#生存ssh金鑰

ssh-keygen -t rsa -P ''

#進入.ssh資料夾

cd /root/.ssh

#將公開金鑰加到認證的公開金鑰檔中

cat id_rsa.pub>>authorized_keys

2.5 下載hadoop安裝包並進行相應的配置（在master機器上進行）

#下載hadoop-1.0.4.tar.gz

#解壓hadoop-1.0.4.tar.gz到/home/hadoop

#hadoop-1.0.4資料夾中的conf資料夾中是我們需要配置的檔(詳情見位址)

HTTP://download.csdn.net/detail/lovemelovemycode/5634581

2.6 配置hosts和hostname(在master上進行)

#下載這個檔

HTTP://download.csdn.net/detail/lovemelovemycode/5634599

2.7  在slave1和slave2上重複2.1、2.2、2.3的步驟

2.8 將master上相應的檔copy到slave1\slave2上（在master上進行）

scp -r .ssh hadoop@slave1:/root

scp -r .ssh hadoop@slave2:/root

scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave1:/home/hadoop

scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave2:/home/hadoop

scp -r /etc/hosts hadoop@slave1:/etc

scp -r /etc/hostname hadoop@slave2:/etc

2.9 關閉 master、slave1、slave2的防火牆

#暫時關閉防火牆

/etc/init.d/iptables stop

#永久關閉防火牆

chkconfig –level 35 iptables off

2.10  對namenode\datanode進行格式化（在master上進行）

bin/hadoop namenode -format

bin/hadoop datanode -format

2.11 啟動hadoop(在master上進行)

# 進入hadoop-1.0.4

bin/start-all.sh

3 hadoop集群搭建成功的驗證方法

3.1 通過java 的jps命令驗證

HTTP://download.csdn.net/detail/lovemelovemycode/5634649

3.2 通過HTTP://master:50070    和HTTP://master:50030驗證