標籤:
前言:我使用了兩台電腦進行叢集的配置,如果是單機的話可能會出現部分問題。首先設定兩台電腦的主機名稱 root 許可權開啟/etc/host檔案
再設定hostname,root許可權開啟/etc/hostname檔案設定
從機設為Slaver.Hadoop
1.安裝java jdk 並配置環境
centos 內建安裝了一個jdk,如果我們要自己安裝jdk並配置環境的話首先卸載掉原本的jdk
在命令列模式下健入命令:yum remove java (root使用者,非root使用者請在命令前加sudo).
接下來安裝jdk並配置環境,到網上下載jdk的rpm包,使用命令:rpm -ivh jdk-......;
配置jdk環境:
root使用者開啟/etc/profile檔案 在檔案末尾添加jdk路徑類似下面的配置,只需注意jdk版本即可
上面一部分為java環境變數,後面為hadoop變數,等會用得上。
2.安裝hadoop並配置環境。
到Apache網站下載hadoop-2.6.0版本.
解壓檔案: tar -xvf hadoop-2.6.0.tar.gz (解壓到需要安裝的路徑,或者到時候再設定路徑)
進入解壓後的目錄,到hadoop-2.6.0/etc/hadoop/路徑下找到下面幾個設定檔
core.site.xml:
hdfs-site.xml
mapred-site.xml.template
hadoop-env.sh
slaves
192.168.1.126 從機ip
到此配置完成,啟動參照網上的教程。
/hadoop-2.6.0/bin/hadoop namenode -format
/hadoop-2.6.0/sbin/start-all.sh
完成。
注意:啟動前需要將兩台電腦的防火牆關閉:sudo systemctl stop iptables.service
3.安裝配置hadoop eclipse 外掛程式
下載hadoop eclipse 外掛程式,將其放入eclipse 檔案夾的plugins檔案夾中,啟動eclipse.
eclipse window->open persperctive->other->
分別開啟Map/Reduce 和 Resource 。然後到eclipse中建立M/R項目,找到wordcount.java原始碼執行,
eclipse中run as configuertion 設定參數:
eclipse中項目目錄:
執行結果:
CentOS 7 Hadoop安裝配置