在安裝好單機模式的hadoop之後,我們就可以著手來在叢集模式下安裝hadoop了。在安裝了單機版hadoop的機器上將hadoop轉成叢集模式是很容易的。首先來設定網路。
網路
首先,我們需要在同一個網路的幾台機器(這裡用的是192.168.0.0/24網段)。然後為了操作方便,我們需要給它們配上網域名稱,直接在 檔案裡面加入以下內容。
配置SSH
為了能讓hadoop運行,需要讓master機器能夠登入到slave機器上,這就要配置SSH密鑰。跟配置單機模式的時候相似,把 檔案拷貝slave機器的 路徑下。在完成後試試是否能夠用運行hadoop的帳號登入slave機器,能的話這一步就算完成了。
安裝hadoopmaster機器上的配置項
2 |
<name>fs.default.name</name> |
3 |
<value>hdfs://master:54310</value> |
4 |
<description>The name of the default file system. A URI whose |
5 |
scheme and authority determine the FileSystem implementation. The |
6 |
uri's scheme determines the config property (fs.SCHEME.impl) naming |
7 |
the FileSystem implementation class. The uri's authority is used to |
8 |
determine the host, port, etc. for a filesystem.</description> |
在HADOOP_HOME/conf/mapred-site.xml 檔案裡面添加以下配置:
2 |
<name>mapred.job.tracker</name> |
3 |
<value>master:54311</value> |
4 |
<description>The host and port that the MapReduce job tracker runs |
5 |
at. If "local" , then jobs are run in -process as a single map |
在 HADOOP_HOME/conf/hdfs-site.xml 檔案添加以下配置:
2 |
<name>dfs.replication</name> |
4 |
<description>Default block replication. |
5 |
The actual number of replications can be specified when the file is created. |
6 |
The default is used if replication is not specified in create time . |
接下來把HDFS檔案系統來格式化一下
1 |
$ /usr/ local /hadoop$ bin/hadoop namenode - format |
然後運行 /usr/local/hasoop/bin/start-all.sh ,如果執行成功,多機器模式的hadoop就安裝完成了。