環境搭建-CentOS叢集搭建

標籤：密碼   war   log   app   export   profile   box   實用   The   

環境搭建-CentOS叢集搭建

寫在前面
最近有許多小夥伴問我，大資料的hadoop分布式叢集該如何去搭建。所以，想著，就寫一篇部落格，協助到更多剛入門大資料的人。本部落格會一步一步帶你實現一個Hadoop的搭建。跟著部落格上面的步驟，很詳細的。你很快就會有一個自己的hadoop叢集啦。

我是在自己的windows機器上使用virtualBox來虛擬三台機器，作為實驗的環境。

實驗環境
Windows 宿主機：Windows 10 （其餘也是可以的）
VirtualBox 版本：VirtualBox 5.1.22
CentOS 版本：CentOS 6.9
Xshell 版本：Xshell 5

可能許多的小夥伴，會因為找軟體比較麻煩。我這裡直接分享在了我的百度雲的連結，方便大家下載：
連結：http://pan.baidu.com/s/1c24gbUK 密碼：8h1r

接下來，我們就開始建立虛擬機器

使用VirtualBox建立虛擬機器

使用VirtualBox建立三台CentOS作為項目實驗叢集。

跟著下面的步驟就好：

開啟virtualBox軟體,我們new一個：

接下來，我們點擊設定按鈕

設定我們的儲存，把我們的鏡像添加進去

設定我們的網路連接（很重要）

上面的設定完成之後，我們就可以開啟，開始安裝centos了

接下來的兩項預設就好，這裡需要注意一下

設定時區為亞洲，上海

設定密碼，我這裡為了方便，直接設定為123456

由於密碼安全太低，這裡選擇不管如何都使用就好

磁碟分割，預設就好

等待它自己安裝，這個時候，你也可以按照這個步驟再去建立兩台機器

會出現reboot的按鈕，重啟就好

重啟之後，我們輸入帳號密碼，進入：

一開始是沒有ip的，是需要我們設定的，

設定IP

設定 網卡onboot=yes即可，自動擷取

[[email protected] ~]# cd /etc/sysconfig/network-scripts/[[email protected] network-scripts]# [[email protected] network-scripts]# vi ifcfg-eth0 DEVICE=eth0HWADDR=08:00:27:72:EC:EETYPE=EthernetUUID=6b262313-ddd5-4a97-bb75-771ea5621f91ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=dhcp#:wq 儲存退出

重新啟動網路

[[email protected] network-scripts]# service network restart

測試，去ping百度：

到這裡我們的centos就安裝好了，說明一下，網路一定要連通，不然，後面，會比較麻煩。
依據，這個操作，我們再重新建立兩台機器。

使用Xshell串連我們的伺服器

xshell這個軟體還是很好用得，

建立串連

接下來，就是輸入使用者和密碼，輸入就好。
這裡把下面的框選上，這樣以後就不用輸帳號密碼了

上面就表示登入成功了

安裝常用軟體

下面安裝lrzsz這個軟體，是用來傳輸檔案的，比較實用的一個軟體，當然，你也可以選擇自己的方式

[[email protected] ~]# yum -y install lrzsz....Installed:  lrzsz.x86_64 0:0.12.20-27.1.el6                                                       Complete!

好啦，到這裡我們就安裝好了

安裝JDK環境

在開始安裝之前，
我們先建立一個目錄，這樣比較規範，這個看個人習慣就好

[[email protected] ~]# [[email protected] ~]# mkdir app[[email protected] ~]# mkdir softwares[[email protected] ~]# [[email protected] ~]# mkdir lib[[email protected] ~]# [[email protected] ~]# mkdir data[[email protected] ~]# #app軟體安裝的目錄#softwares軟體的存放目錄#lib架包的存放目錄#data測試的資料存放目錄

接下來，我們把jdk檔案上傳到我們的伺服器，
使用rz命令

上傳完畢之後，就開始解壓到app目錄下

[[email protected] softwares]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C ../app/

解壓完畢之後，就可以配置環境變數

[[email protected] ~]# vim ~/.bash_profile # .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then        . ~/.bashrcfiexport JAVA_HOME=/root/app/jdk1.8.0_144export PATH=$JAVA_HOME/bin:$PATH

再source一下，使得我我們的環境變數生效，

[[email protected] ~]# source ~/.bash_profile[[email protected] ~]# [[email protected] ~]# java -versionjava version "1.8.0_144"Java(TM) SE Runtime Environment (build 1.8.0_144-b01)Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)[[email protected] ~]# 

到這裡，我們就安裝好了我們的JDK環境

至於，另外的兩台，我們可以先不用配置，後面，我們可以直接scp過去。
補充說明一下，有的小夥伴可能會發現，我建立過程中的名稱為hadoop004,這是因為，我之前做hadoop000的時候，做好了，忘記儲存了，就丟失了，這是我補充的。碼字不易，不洗勿噴。

到這裡，我最終配置好的centos叢集是：
hadoop000 192.168.1.61
hadoop001 192.168.1.62
hadoop002 192.168.1.63
,接下來，就可以開始Hadoop叢集的搭建了，後面的地址是：
http://blog.csdn.net/liuge36/article/details/78613910

環境搭建-CentOS叢集搭建