Hadoop2.6.0在CentOS 7中的叢集搭建

標籤：

我這邊給出我的叢集環境是由一台主節點master和三台從節點slave組成：

master     192.168.1.2

slave1       192.168.1.3

slave2       192.168.1.4

slave3       192.168.1.5

申明：我搭建的這個叢集不是在普通使用者，所以一下操作都是在超級使用者root上。

一、虛擬機器的安裝

a)         我們從centos官網下載CentOS7（下載DVD IOS鏡像就行了）

b)         在VMware Workstation 11上安裝四台虛擬機器，這裡的具體的安裝步驟，我就不再贅述。

二、虛擬機器前期配置

a)         裝好四台虛擬機器後，我們設定虛擬機器為靜態IP，並修改一下虛擬機器的主機名稱和IP地址，還需要增加IP與主機映射：

1）  修改主機名稱（分別在四台虛擬機器修改為：master、slave1、slave2和slave3）：

vi /etc/hostname

2）  修改IP地址並設定為靜態IP：

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736（虛擬機器的網卡一般預設都是ifcfg-eno16777736）

增加以下內容：

BOOTPROTO=static  #設定為靜態IP

ONBOOT=yes    #開啟網卡

IPADDR=192.168.1.2        #設定IP，對應上面給出的四個IP地址，這裡是master的IP

NETMASK=255.255.255.0         #設定子網路遮罩

GATEWAY=192.168.1.1     #設定網關

DNS1=8.8.8.8   #設定DNS，這裡是Google的兩個網域名稱解析

DNS2=8.8.4.4

3）  增加IP與主機映射：

vi /etc/hosts

增加以下內容：

192.168.1.2       master

192.168.1.3      slave1

192.168.1.4     slave2

192.168.1.5     slave3

                            4）在完成以上步驟後reboot重啟四台虛擬機器：

                               reboot

三、ssh免密碼登入

         a)      在每台虛擬機器的根目錄root下，建立ssh公開金鑰：

                   1）  ssh-keygen –t rsa   #連續斷行符號，系統自動產生圖形公開金鑰

                   2）  在master中，進入.ssh目錄，並將公開金鑰寫到authorized_keys：

                            cd .ssh/

                            ssh master cat id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

                            ssh slave1 cat id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

                            ssh slave2 cat id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

ssh slave3 cat id_rsa.pub>> authorized_keys #需要輸入超級使用者密碼

3）  更改authorized_keys屬性，使之不能被修改：

                            chmod 600 authorized_keys

4）  在master的.ssh目錄下，將產生的known_hosts和authorized_keys複製到各個從節點：

                            scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼

                            scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼

                            scp authorized_keys [email protected]:/root/ #需要輸入超級使用者密碼

                            scp known_hosts [email protected]:/root/

                            scp known_hosts [email protected]:/root/

                            scp known_hosts [email protected]:/root/

                   5)      驗證ssh的免密碼登入：

在master中輸入：ssh slave1、ssh slave2和ssh slave3是否要求輸入密碼，如果不需要，則ssh免密碼配置成功。

四、jdk安裝

五、scala安裝

六、Hadoop2.6的解壓安裝

a)         我們從cloudera官網下載Hadoop-2.6.0-cdh5版本的壓縮包

b)         在master節點中，解壓Hadoop壓縮包到/root/app/中：

tar –xzvf hadoop-2.6.0-cdh5.4.0.tar.gz

七、叢集環境Hadoop的配置

在master中，進入到Hadoop的配置目錄：

cd hadoop-2.6.0-cdh5.4.0 /etc/hadoop

a)         slaves的配置：

vi slaves

刪除localhost，增加三個從節點：

slave1

slave2

slave3

b)         core-site.xml的配置：

在此之前，需要在Hadoop目錄下建立data/tmp：

mkdir data

cd data

mrdir tmp

mkdir dfs

cd dfs

mkdir data

mkdir name

在hadoop-2.6.0-cdh5.4.0 /etc/hadoop下：

vi core-site.xml

在core-site.xml中增加：

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>

                </property>

c)         hdfs-site.xml的配置：

vi hdfs-site.xml

在hdfs-site.xml增加：

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>master:50090</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/data</value>

        </property>

d)         mapred-site.xml的配置：

vi mapred-site.xml

在mapred-site.xml增加：

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

               </property>

e)         yarn-site.xml的配置：

vi yarn-site.xml

在yarn-site.xml增加：

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>master</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

           </property>

f)          配置好master中的Hadoop後，將Hadoop複製到各個節點對應位置上：

scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave1:/root/app/

scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave2:/root/app/

scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave3:/root/app/

八、啟動hadoop

a）在主節點master的hadoop的目錄下：

bin/hdfs namenode –format

sbin/start-dfs.sh

sbin/start-yarn.sh

然後在主節點master輸入jps可以查看到NameNode、SecondaryNameNode、Jps和ResourceManager四個進程。

在從節點slave輸入jps可以查看到Jps、NodeManager和DataNode三個進程。

b)         出現以上進程提示，恭喜你，你的hadoop的環境搭建完成！

Hadoop2.6.0在CentOS 7中的叢集搭建