在Ubuntu上安裝Hadoop(叢集模式)

來源:互聯網
上載者:User

在安裝好單機模式的hadoop之後,我們就可以著手來在叢集模式下安裝hadoop了。在安裝了單機版hadoop的機器上將hadoop轉成叢集模式是很容易的。首先來設定網路。

網路

首先,我們需要在同一個網路的幾台機器(這裡用的是192.168.0.0/24網段)。然後為了操作方便,我們需要給它們配上網域名稱,直接在 檔案裡面加入以下內容。

 

1 192.168.0.1    master
2 192.168.0.2    slave
配置SSH

為了能讓hadoop運行,需要讓master機器能夠登入到slave機器上,這就要配置SSH密鑰。跟配置單機模式的時候相似,把 檔案拷貝slave機器的 路徑下。在完成後試試是否能夠用運行hadoop的帳號登入slave機器,能的話這一步就算完成了。

安裝hadoopmaster機器上的配置項

 

1 master

 

1 master
2 slave

 

1 <property>
2   <name>fs.default.name</name>
3   <value>hdfs://master:54310</value>
4   <description>The name of the default file system.  A URI whose
5   scheme and authority determine the FileSystem implementation.  The
6   uri's scheme determines the config property (fs.SCHEME.impl) naming
7   the FileSystem implementation class.  The uri's authority is used to
8   determine the host, port, etc. for a filesystem.</description>
9 </property>

在HADOOP_HOME/conf/mapred-site.xml 檔案裡面添加以下配置:

 

1 <property>
2   <name>mapred.job.tracker</name>
3   <value>master:54311</value>
4   <description>The host and port that the MapReduce job tracker runs
5   at.  If "local", then jobs are run in-process as a single map
6   and reduce task.
7   </description>
8 </property>

在 HADOOP_HOME/conf/hdfs-site.xml 檔案添加以下配置:

 

1 <property>
2   <name>dfs.replication</name>
3   <value>2</value>
4   <description>Default block replication.
5   The actual number of replications can be specified when the file is created.
6   The default is used if replication is not specified in create time.
7   </description>
8 </property>

接下來把HDFS檔案系統來格式化一下

 

1 $ /usr/local/hadoop$ bin/hadoop namenode -format

然後運行 /usr/local/hasoop/bin/start-all.sh ,如果執行成功,多機器模式的hadoop就安裝完成了。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.