Linux伺服器下搭建hadoop叢集環境 redhat5/Ubuntu 12.04

Ubuntu 12.04 下搭建 hadoop 叢集環境步驟

一. 搭建環境前的準備：

我的本機Ubuntu 12.04 32bit作為maser，就是上篇hadoop單機版環境搭建時用的那台機子，http://www.linuxidc.com/Linux/2013-01/78112.htm

還在KVM中虛擬了4台機子，分別起名為：

son-1        (ubuntu 12.04 32bit)，
son-2        (ubuntu 12.04 32bit)，
son-3        (CentOS 6.2 32bit)，
son-4        (RedHat 6.0 32bit).


下來修改原生host檔案，

sudo gedit /etc/hosts

在後面新增內容為：

192.168.200.150 master

192.168.200.151 son-1

192.168.200.152 son-2

192.168.200.153 son-3

192.168.200.154 son-4

現在開始我們的打建之旅吧。

二 . 為本機(master)和子節點(son..)分別建立hadoop使用者和使用者組，其實ubuntu和centos下建立使用者還多少還是有點區別的。

ubuntu下建立：

先建立hadoop使用者組：

sudo addgroup hadoop

然後建立hadoop使用者：

sudo adduser -ingroup hadoop hadoop

centos 和 redhat 下建立：

sudo adduser hadoop

註：在centos 和 redhat下直接建立使用者就行，會自動產生相關的使用者組和相關檔案，而ubuntu下直接建立使用者，建立的使用者沒有家目錄。

給hadoop使用者添加許可權，開啟/etc/sudoers檔案；

sudo gedit /etc/sudoers

按斷行符號鍵後就會開啟/etc/sudoers檔案了，給hadoop使用者賦予root使用者同樣的許可權。

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL，

hadoop  ALL=(ALL:ALL) ALL

三. 為本機(master)和子節點(son..)安裝JDK環境。

ubuntu下一條命令即可：

sudo apt-get install openjdk-6-jre

centos和redhat建議下載源碼安裝。


四. 修改 本機(master)和子節點(son..)機器名

開啟/etc/hostname檔案；

sudo gedit /etc/hostname

分別修改為：master  son-1  son-2  son-3  son-4。這樣有利於管理和記憶！

五. 本機(master)和子節點(son..)安裝ssh服務

主要為Ubuntu安裝，cents和RedHat系統內建。

ubuntu下：
sudo apt-get install ssh openssh-server

這時假設您已經安裝好了ssh，您就可以進行第六步了哦~

六. 先為建立ssh無密碼登入環境

做這一步之前首先建議所有的機子全部轉換為Hadoop使用者，以防出現許可權問題的幹擾。

切換的命令為：
su - hadoop

ssh產生密鑰有rsa和dsa兩種產生方式，預設情況下採用rsa方式。

1. 建立ssh-key，，這裡我們採用rsa方式；
ssh-keygen -t rsa -P ""

（註：斷行符號後會在~/.ssh/下產生兩個檔案：id_rsa和id_rsa.pub這兩個檔案是成對出現的）

2. 進入~/.ssh/目錄下，將id_rsa.pub追加到authorized_keys授權檔案中，開始是沒有authorized_keys檔案的；
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

七. 為本機mater安裝hadoop

我們採用的hadoop版本是：hadoop-0.20.203（http://www.apache.org/dyn/closer.cgi/hadoop/common/ ），因為該版本比較穩定。

1. 假設hadoop-0.20.203.tar.gz在案頭，將它複製到安裝目錄 /usr/local/下；
sudo cp hadoop-0.20.203.0rc1.tar.gz /usr/local/

2. 解壓hadoop-0.20.203.tar.gz；
cd /usr/local
sudo tar -zxf hadoop-0.20.203.0rc1.tar.gz

3. 將解壓出的檔案夾改名為hadoop；
sudo mv hadoop-0.20.203.0 hadoop

4. 將該hadoop檔案夾的屬主使用者設為hadoop，
sudo chown -R hadoop:hadoop hadoop

5. 開啟hadoop/conf/hadoop-env.sh檔案；
sudo gedit hadoop/conf/hadoop-env.sh

6. 配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然後加上本機jdk的路徑）；
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

7. 開啟conf/core-site.xml檔案；
sudo gedit hadoop/conf/core-site.xml

編輯如下：

    <?xmlversion="1.0"?>
    <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    <configuration>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    </property>
    </configuration>

8. 開啟conf/mapred-site.xml檔案；
sudo gedit hadoop/conf/mapred-site.xml

編輯如下：

    <?xmlversion="1.0"?>
    <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
    </property>
    </configuration>

9. 開啟conf/hdfs-site.xml檔案；
sudo gedit hadoop/conf/hdfs-site.xml

編輯如下：

    <configuration>
    <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
    </property>
    <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>
    </configuration>

10. 開啟conf/masters檔案，添加作為secondarynamenode的主機名稱，這裡需填寫 master 就Ok了。
sudo gedit hadoop/conf/masters

11. 開啟conf/slaves檔案，添加作為slave的主機名稱，一行一個。
sudo gedit hadoop/conf/slaves

這裡填成下列的內容 ：

    son-1
    son-2
    son-3
    son-4
    
八. 要將master機器上的檔案一一複製到datanode機器上(son-1，son-2，son-3，son-4都要複製)：（這裡以son-1為例子）

1. 公開金鑰的複製

scp ~/.ssh/id_rsa.pub Hadoop@son-1:~/.ssh/

2. hosts檔案的複製

scp /etc/hosts hadoop@son-1:/etc/hosts

註：這裡如果不能複製，就先將檔案複製到/home/hadoop下面，即為：

/home/hadoophadoop@son-1: scp /etc/hosts

再在datanode機器上將其移到相同的路徑下面/etc/hosts .

3. hadoop檔案夾的複製，其中的配置也就一起複製過來了！

scp -r /usr/local/hadoop hadoop@son-1:/usr/local

如果不能移動的話和上面的方法一樣！

並且要將所有節點的hadoop的目錄的許可權進行如下的修改：

sudo chown -R hadoop:hadoop hadoop

這些東西都複製完了之後，datanode機器還要將複製過來的公開金鑰追加到收信任清單：

在每個子節點的自己種都要操作。

cat ~/.ssh/id_rsa.pub >>  ~/.ssh/authorized_keys

還有很重要的一點，子節點datanode機器要把複製過來的hadoop裡面的data1,data2和logs刪除掉!

還有要修改CentOS節點（son-3）和RedHat節點（son-4）的java的環境變數地址，

配置centos節點（son-3）和redhat節點（son-4）的/usr/local/hadoop/conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然後加上本機jdk的路徑）;這個環境不一，自己配置一下。

這樣環境已經基本搭建好了，現在開始測試一下。

九. 這樣之後基本上就差不多了，首先進入master的Hadoop目錄。

cd /usr/local/hadoop

首先可以做一下Server Load Balancer，我擔心這個加上會有點亂，但是沒有這部分不影響運行，想瞭解的給我留言！

啟動datanode和tasktracker:

    bin/start-dfs.sh
    bin/hadoop-daemon.sh start datanode
    bin/hadoop-daemon.sh start tasktracker

啟動全部服務直接一條命令：

bin/start-all.sh

查看自己的datanode是否啟動.

jps

當jps不能正常使用的時候：

resource /etc/profile

串連時可以在namenode上查看串連情況：

bin/hadoop dfsadmin -report

詳見下圖：

也可以直接進入網址：

master:50070

詳見下圖：

圖1：

圖2：

因為readhat的java環境還有點問題所以沒有啟動起來，其它的正常。

切記，上面的大多數操作請使用hadoop使用者，要不然中間會出許多關於許可權的問題。

到此整個環境的搭建工作就完成了。

redhat5下搭建hadoop叢集環境步驟

前期準備

    兩台linux虛擬機器（本文使用redhat5，IP分別為 192.168.1.210、192.168.1.211）
    JDK環境（本文使用jdk1.6，網上很多配置方法，本文省略）
    Hadoop安裝包（本文使用Hadoop1.0.4）

搭建目標

210作為主機和節點機，211作為節點機。

搭建步驟

1修改hosts檔案

在/etc/hosts中增加：

 在/etc/hosts中增加：

192.168.1.210 hadoop1
192.168.1.211 hadoop2

2 實現ssh無密碼登陸

2.1 主機（master）無密碼本機登入

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

直接斷行符號，完成後會在 ~/.ssh/ 產生兩個檔案： id_dsa 和 id_dsa.pub 。這兩個是成對出現，類似鑰匙和鎖。

再把 id_dsa.pub 追加到授權 key 裡面 ( 當前並沒有 authorized_key s檔案 ) ：

cat ~/.ssh/id_dsa.pub &gt;&gt; ~/.ssh/authorized_keys

實驗：

ssh localhost hostname

還是要輸入密碼，一般這種情況都是因為目錄或檔案的許可權問題，看看系統日誌，確實是許可權問題，
.ssh下的authorized_keys許可權為600，其父目錄和祖父目錄應為755

2.2 無密碼登陸節點機（slave）

slave上執行：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

產生.ssh目錄。
 
將master上的authorized_keys複製到slave上：

scp authorized_keys hadoop2:~/.ssh/

實驗：在master上執行

ssh hadoop2

實現無密碼登陸。

3 配置Hadoop

3.1拷貝hadoop

將hadoop-1.0.4.tar.gz ,拷貝到usr/local 檔案夾下，然後解壓。

解壓命令：

tar ?zxvf hadoop-1.0.4.tar.gz

3.2查看 cat /etc/hosts

192.168.1.210 hadoop1
192.168.1.211 hadoop2

3.3 配置 conf/masters 和 conf/slaves

conf/masters：

192.168.1.210

conf/slaves：

192.168.1.211
192.168.1.211

3.4 配置 conf/hadoop-env.sh

加入

export JAVA_HOME=/home/elvis/softk1.7.0_17

3.5 配置 conf/core-site.xml

加入

<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.210:9000<alue>
</property>

3.6 配置 confLinux伺服器下搭建hadoop叢集環境fs-site.xml

加入

<property>
<name>dfs.http.address</name>
<value>192.168.1.210:50070<alue>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/namenode<alue>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data<alue>
</property>
<property>
<name>dfs.replication</name>
<value>2<alue>
</property>

3.7 配置conf/mapred-site.xml

加入

<property>
<name>mapred.job.tracker</name>
<value>192.168.1.50:8012<alue>
</property>

3.8 建立相關的目錄

/usr/local/hadoop/                     //hadoop資料和namenode目錄

【注意】只建立到hadoop目錄即可，不要手動建立data和namenode目錄。

其他節點機也同樣建立該目錄。

3.9 拷貝hadoop檔案到其他節點機

將hadoop檔案遠程copy到其他節點（這樣前面的配置就都映射到了其他節點上），

命令：

scp -r hadoop-1.0.4 192.168.1.211:/usr/local/

3.10 格式化Active master（192.168.201.11）

命令：

bin/hadoop namenode -format

3.11 啟動叢集 ./start-all.sh

現在叢集啟動起來了，看一下，命令：

bin/hadoop dfsadmin -report

2個datanode，開啟web看一下

瀏覽器輸入:192.168.1.210:50070

打完收工，叢集安裝完成！  

常見問題

1 Bad connection to FS. command aborted

需要查看日誌，我的日誌中顯示：
2013-06-09 15:56:39,790 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)
 
NameNode沒被格式化！！！
 
解決辦法：

原因是我手動建了 /usr/local/hadoop/data 和 /usr/local/hadoop/namenode，把這兩個目錄刪除重新格式化namenode即可。
 
2 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxrwx

解決辦法：

/usr/local/hadoop/目錄許可權過高，改成chmod 755即可。
 
3 eclipse外掛程式問題

異常1：2011-08-03 17:52:26,244 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 9800, call getListing(/home/fish/tmp20/mapred/system) from 192.168.2.101:2936: error: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode=”system”:root:supergroup:rwx-wx-wx
org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode=”system”:root:supergroup:rwx-wx-wx
at org.apache.hadoop.hdfs.server.namenode.PermissionChecker.check(PermissionChecker.java:176)
at org.apache.hadoop.hdfs.server.namenode.PermissionChecker.checkPermission(PermissionChecker.java:111)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:4514)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPathAccess(FSNamesystem.java:4474)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getListing(FSNamesystem.java:1989)
at org.apache.hadoop.hdfs.server.namenode.NameNode.getListing(NameNode.java:556)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
 
解決方案：在hdfs-site.xml裡加入下面的

<property>
<name>dfs.permissions</name>
<value>false<alue>
</property>

HDFS常用命令

建立檔案夾

./hadoop fs ?mkdir /usr/local/hadoop/godlike

上傳檔案

./hadoop fs ?put/copyFromLocal 1.txt /usr/local/hadoop/godlike

查看檔案夾裡有哪些檔案

./hadoop fs ?ls /usr/local/hadoop/godlike

查看檔案內容

./hadoop fs ?cat/text/tail /usr/local/hadoop/godlike/1.txt

刪除檔案

./hadoop fs ?rm /usr/local/hadoop/godlike

刪除檔案夾

./hadoop fs ?rmr /usr/local/hadoop/godlike