centos中CDH5.2 Cloudera Manager installer安裝配置詳解

一、機器準備

1、3台主機名稱：server202 server203 server204

另外server201用來搭建本地yum的repos，不參與叢集。

2、配置server202的ssh免密碼登入到其他機器（包括自己）

3、3個機器節點的/etc/hosts加入

192.168.2.201 archive.cloudera.com

192.168.2.202 server202

192.168.2.203 server203

192.168.2.204 server204

4、其他一些相關操作：

關閉防火牆

chkconfig iptables off

service iptables stop

通過Cloudera Manager installer安裝必須設定/etc/selinux/config中的SELINUX=disabled，你需要重啟機器。

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

配置163，sohu源

cd /etc/yum.repos.d/

#Centos5

wget http://mirrors.163.com/.help/CentOS5-Base-163.repo

#wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo

#Centos6

wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

yum makecache

同步時間

ntpdate -u pool.ntp.org

安裝CDH5.2必須安裝python26版本，通過yum安裝。

python yum -y install python26 python26-devel

有可能會提示zlib的錯誤，同時python中通過下面編譯來重新設定。

yum install zlib

vi Modules/Setup Modules/Setup.dist
搜尋zlib，去掉 #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 前面的注釋。
./configure
make

make install

二、構建本地repos(server201機器)

下載CDH5.2的tarball安裝包，後面的manager通過tarball來安裝
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos5.tar.gz
http://archive.cloudera.com/cdh5/repo-as-tarball/5.2.0/cdh5.2.0-centos6.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos5.tar.gz
http://archive.cloudera.com/cm5/repo-as-tarball/5.2.0/cm5.2.0-centos6.tar.gz
注意如果是centos6的作業系統還需要下載 navigator-keytrustee5目錄，通過wget來下載

wget --mirror -p --convert-links -P /disk/cloudera/t http://archive-primary.cloudera.com/navigator-keytrustee5/
這裡是通過server201中nginx代理本地repos，並將archive.cloudera.com指定到192.168.2.201，這樣你就不用修改yum的repos的網址。要不你得手動指定自己的repos地址。
nginx的預設配置沒開啟顯示目錄下的全部檔案，你可以通過下面的配置在nginx.conf中啟用。
autoindex on;#自動顯示目錄
autoindex_exact_size off;#人性化方式顯示檔案大小否則以byte顯示
autoindex_localtime on;#按伺服器時間顯示，否則以gmt時間顯示
搭建本地repos的相關配置命令
#centos5
mkdir -p /disk/cloudera/cdh5/redhat/5/x86_64
cd /disk/cloudera/cdh5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos5.tar.gz
mkdir -p /disk/cloudera/cm5/redhat/5/x86_64
cd /disk/cloudera/cm5/redhat/5/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos5.tar.gz
#centos6
mkdir -p /disk/cloudera/cdh5/redhat/6/x86_64
cd /disk/cloudera/cdh5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cdh5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/cm5/redhat/6/x86_64
cd /disk/cloudera/cm5/redhat/6/x86_64
tar -xzvf /disk/cloudera/download/cm5.2.0-centos6.tar.gz
mkdir -p /disk/cloudera/redhat/cdh/
cd /disk/cloudera/redhat/cdh
cp /disk/cloudera/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera .
配置成功後，確保http://archive.cloudera.com能夠訪問到你的本地的repos。

三、cloudera manager 安裝

1、下載cloudera-manager-installer.bin ： http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2、執行cloudera-manager-installer.bin，安裝上面的步驟來安裝即可。一般指需要幾分鐘時間。因為走得是本地repos源。注意要關閉SELINUX=disabled。安裝的錯誤相關日誌在/var/log/cloudera-manager-installer/這邊可以查看。

3、安裝後訪問 http://server202:7180 來訪問，預設帳號密碼：admin admin

四、通過cloudera manager安裝叢集

按照介面的導航流程操作即可。

1、選擇 Cloudera Express 版本。

2、列出可安裝的包及服務

3、指定CDH主機：

server202

server203

server204

4、選擇存放庫。選擇方法：使用資料包。 CDH版本選擇5.2。其他不要去修改。

5、選址安裝oracle JDK 安裝預設配置即可。

6、設定ssh登入的key，上傳的是server202的私密金鑰。

7、進入安裝的流程。可以詳細看到每個節點的安裝情況。錯誤記錄檔等，可以復原重新安裝。一般只要十幾分鐘。如果有錯誤，按照錯誤提示的內容修複即可。我碰到的錯誤就是python26依賴問題。

8、安裝成功後，會自動對叢集的機器的一些服務環境檢查，根據檢查結果自己來修複。一般都會檢查通過。

9、選擇需要安裝的服務，這裡你最大話安裝，選擇全部。

10、配置叢集的角色。一般按照預設即可。注意，有些角色沒有預設配置主機，你需要自己配置需要安裝的主機位置。資料庫，設定檔都按照預設即可。首次配置也需要十幾分鐘時間。

11、一切正常後，就進入管理面板，可以看到安裝的服務。