windows下hadoop的叢集分布式部署

標籤：blog   http   java   os   檔案   for   ar   art   

下面我們進行說明一下hadoop叢集的搭建配置.

本文假設讀者具有hadoop單機配置的基礎，相同的部分不在重述。

以三台測試機為例搭建一個小叢集,三台機器的ip分別為

192.168.200.1;192.168.200.2;192.168.200.3

cygwin,jdk的安裝同windows下hadoop的單機偽分布式部署（1）,這裡略過。

1、配置 hosts

在三台機子的hosts檔案中加入如下記錄：

192.168.200.1 hadoop1  #master namenode

192.168.200.2 hadoop2  #datanode

192.168.200.3 hadoop3  #datanode

2、配置 hadoop1上的hadoop

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml配置同windows下hadoop的單機偽分布式部署（1），

只是將其中的主機名稱localhost換成hadoop1這裡略過。

配置masters檔案：hadoop1

配置slaves檔案：hadoop2 hadoop3

3、然後將hadoop1上的hadoop檔案夾拷貝到hadoop2、hadoop3機器上面；

如果jdk安裝目錄不同，需要更改hadoop-env.sh中java_home的配置路徑。

4、配置無密碼登陸

分別在三台機器上運行命令ssh-keygen，然後將hadoop1和hadoop2上的id_rsa.pub檔案拷貝到hadoop1上，

並將三台機器上id_rsa.pub都匯入到authorized_keys檔案中，然後該authorized_keys檔案拷貝到hadoop2，hadoop3上。

5、在hadoop1上先格式化namenode格式，

hadoop namenode -format

然後運行命令：start-all.sh 啟動整個叢集。

利用jps命令檢查master和slave上的hadoop進程是否成功啟動，jps命令檢查master上的namenode，jobtracker進程，

檢查slave上的datanode，tasktracker進程。

 

6、與myeclipes的整合同windows下hadoop的單機偽分布式部署（3）。