CentOS 6.5 下 CDH 5.2.1 叢集安裝（一）

標籤：

叢集節點數量3 個

192.168.1.170 cdh-master

192.168.1.171 cdh-slave-1

192.168.1.171 cdh-slave-2

一、安裝CentOS6.5 （64位）並搭建基本環境，包括：

（1）添加sudo 許可權

（2）修改主機名稱、網關、靜態IP地址、DNS

（3）關閉SELINUX、防火牆

 可參考文章

（4）修改系統時區、配置ntp服務（首先可選宿主機器配置ntp server，參考文章）

二、複製為三台機器，分別修改靜態IP 位址、MAC、主機名稱、hosts檔案:

主機名稱、網關修改 /etc/sysconfig/network檔案

MAC 修改 /etc/udev/rules.d/70-persistent-net.rules

IP地址是修改 /etc/sysconfig/network-scripts/ifcfg-eth0

host 檔案修改 /etc/hosts 需要添加叢集內所有的主機名稱和ip的對應關係，而且主機名稱的名稱要和真實的主機名稱(/etc/sysconfig/network)完全一致

三、下載clouder-manger的安裝包及parcel檔案：

cm 檔案

cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

parcel

CDH-5.2.1-1.cdh5.2.1.p0.12-el6.parcel

四、在master 節點安裝daemons、server、agent（先裝daemons）

yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent安裝需要連網）

五、在slave-1、slave-2節點安裝daemons、agent（先裝daemons）

yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm（注：agent安裝需要連網）

六、在master、slave-1、slave-2 節點安裝JDK、oraclejdk

rpm -ivh jdk-6u31-linux-amd64.rpm

七、在master節點安裝mysql 資料庫，並配置cdh需要的資料庫選項

yum install mysql-server mysql mysql-deve （註：需要連網）

chkconfig mysqld on

service mysqld start

mysql –u root

use mysql

update user set password=password(‘1234‘) where user=‘root‘

update user set password=password(‘1234‘) where host=‘localhost‘

update user set password=password(‘1234‘) where host=‘cdh-mater‘

service mysqld restart

mysql -u root -p1234

create database cloudera

八、在master節點配置cloudera manager 資料庫並啟動cm的server及agent程式

1.拷貝mysql-connector-java-5.1.7-bin.jar 到 /usr/share/java 下並重新命名mysql-connector-java.jar

2.運行 /usr/share/cmf/schema/scm_prepare_database.sh -h cdh-master mysql cloudera root 1234

3.啟動cm server ：service cloudera-scm-server start

4.添加cm server服務 ：chkconfig cloudera-scm-server on

5.啟動cm agent ：chkconfig cloudera-scm-agent on

6.添加cm agent服務 ：service cloudera-scm-server start

九、修改所有節點的agent 設定檔

/etc/cloudera-scm-agent/config.ini 將設定檔中的host 改成 cdh-master

十、在slave節點配置cloudera manager  agent程式

1.啟動cm agent ：chkconfig cloudera-scm-agent on

2.添加cm agent服務 ：service cloudera-scm-server start

十一、測試agent和server是否通訊成功

   service cloudera-scm-server status

   service cloudera-scm-agent status

   netstat –anp | grep 7182

  # server 端開啟的是7182連接埠，用於和agent進行通訊

   啟動失敗時可以查看日誌

   server 日誌 /var/log/cloudera-scm-server

   agent 日誌 /var/log/cloudera-scm-agent

十二、將下載的parcel檔案及官方網站上擷取對應版本的 sha 檔案和 manifest.json檔案上傳至/opt/cloudera/parcel-repo目錄下。

十三、啟動瀏覽器，開始叢集web安裝配置

CentOS 6.5 下 CDH 5.2.1 叢集安裝（一）