Hadoop2.X版本偽分布式安裝詳細介紹【非抄襲，原創！】

標籤：style   http   io   ar   color   os   使用   sp   for   

網上hadoop單節點安裝文章真是一搜一大堆，可以這樣說，全是垃圾，那些博主也不知道自己安裝過沒有。。反正就一堆的copy，我實在看不下去了。必須把我總結的寫出來，如果你有任何問題隨時聯絡我！

E-Mail: [email protected]

下面我以2.2.0為例子！注意這是單節點！！偽分布式！！不喜勿看

 

Hadoop2.2.0（Yarn）安裝詳細過程

一、運行一個單機版模式的hadoop偽分布式平台

1、軟體環境

           1、作業系統：

由於linux的開源性、安全性等因素現有的hadoop叢集多為linux平台，在這裡採用適合個人安裝的linux Ubuntu 12.04LTS版本去實現hadoop偽分布式平台。若採用window系統不能使開發人員更好的體驗hadoop架構的優越效能和其高效的效能。對於linux系統red hat、ubuntu、Debian、Gentoo、SuSE、Mandriva安裝均相同。

           2、Java環境：

在這裡採用ubuntu上所推薦的java-7-openjdk。若採用sun公司的jdk，則需要向系統添加環境，這裡不再進行贅述。

3、SSH：在hadoop平台上，需要涉及resourcemanager與nodemanager之間通訊，appmaster與container之間通訊，使用者資料之間的通訊等。在通訊過程中需要配置SSH無密碼通訊。

           4、hadoop版本：hadoop2.2.0（apache網站中所有1.0以上架構均適用）

以上軟體環境均在對應的開源官方網站下載，其中java環境和ssh均在ubuntu中使用apt-get install命令即可獲得。

註：修改過程可能使用到編輯軟體為Vim。

安裝所需軟體源：

名稱	網址
Ubuntu	http://www.ubuntu.org.cn/download
Hadoop2.2.0	http://www.apache.org/dyn/closer.cgi/hadoop/common/
Myeclipse	http://www.myeclipseide.cn
javaJDK	Ubuntu控制台命令sudo apt-get install java-7-openjdk
SSH	Ubuntu控制台命令sudo apt-get install ssh-openserver
Vim	Ubuntu控制台命令sudo apt-get install vim

 

二、安裝過程

2.1安裝前準備工作

           配置yarn前需將javaJDK、SSH、vim安裝完成，將hadoop包從apache網站下載到本地。

測試javaJDK安裝成功輸入java –version出現

 

 

 

 

 

 

 

 

測試vim安裝成功輸入vim後出現

 

測試ssh會在配置無密碼登陸時用到。

2.2給使用者hadoop加入root許可權（在ubuntu12.04安裝過程中使用者名稱稱設定為：hadoop）

控制台輸入：[email protected]:sudo vim /etc/sudoers

在root下添加hadoop的許可權

Hadoop ALL=(ALL:ALL) ALL

 

若ubuntu已經安裝完成如想增加hadoop使用者和使用者組則需如下操作：

1、增加hadoop使用者組：sudo addgroup hadoop。

2、增加hadoop使用者並將其加入到hadoop使用者組：sudo adduser -ingroup hadoop hadoop。

3、將hadoop加入到root許可權組。

2、配置SSH無密碼訪問

配置無密碼訪問後就不需要使用者不停的輸入訪問密碼，控制台命令如下：

1、建立ssh-key，採用通用的rsa加密方式：ssh –keygen –t rsa –p “”

 

斷行符號後會在~/.ssh/下產生兩個檔案：id_rsa和id_rsa.pub這兩個檔案是成對出現的

2、進入到~/.ssh目錄下

[email protected]:Cd ~/.ssh

3、將id_rsa.pub追加到authorized_keys授權檔案中，開始是沒有authorized_keys檔案的

[email protected]:Cat id_rsa.pub >> authorized_keys

 

安裝成功登陸測試：

[email protected]:ssh localhost

 

出現即安裝成功

3.安裝hadoop第二代架構

將下載好的hadoop2.2.0 tar.gz使用tar xvzf解壓後放在/esr/local，然後進入到/usr/local/hadoop/etc/hadoop

具體檔案配置如下：

1、hadoop-env.sh配置

在hadoop-env.sh添加Java環境（本機以openjdk7為例子）

開啟 [email protected]:vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

 

2、yarn-env.sh配置

在yarn-env.sh添加java環境

開啟 [email protected]:vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

 

3、core-site.xml配置

開啟 [email protected]:vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加

<property>

           <name>fs.default.name</name>

           <value>hdfs://localhost:9000</value>

</property>

 

4、hdfs-site.xml配置

開啟 [email protected]:vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加:

<property>

           <name>dfs.namenode.name.dir</name>

           <value>/usr/local/hadoop/dfs/name</value>

</property>

<property>

           <name>dfs.datanode.data.dir</name>

           <value>/usr/local/hadoop/dfs/data</value>

</property>

<property>

           <name>dfs.replicatiion</name>

           <value>2</value>

</property>

 

5、mapred-site.xml配置

開啟 [email protected]:vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

添加：

<property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

</property>

 

6、yarn-site.xml配置

開啟 [email protected]:vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加：

<property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

</property>

<property>

           <name>yarn.nodemanager.aux-services.ampreduce.shuffle.class</name>

           <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

經過以上配置yarn配置完成，然後將所有服務一次啟動，如下操作：

1、啟動hdfs：

                                                     [email protected]:bin/hadoop namenode -format

                                                     [email protected]:sbin/hadoop-daemon.sh start namenode

                                                     [email protected]:sbin/hadoop-daemon.sh start datanode

2、啟動yarn：

                                                          [email protected]:Sbin/yarn-daemon.sh start resourcemanager

                                                          [email protected]:Sbin/yarn-daemon.sh start nodemanager

                                                          （或者利用全部啟動的命令）[email protected]:Sbin/start-all.sh

                                                          [email protected]:Jps

若處出現啟動不成，則去尋找log日誌，log日誌位於：/usr/local/hadoop/log目錄下，yarn將namenode、datanode、nodemanager、resourcemanager分別記錄與不同的日誌中，方便使用者的尋找

輸入後若出現以下命令則安裝成功：

 

在瀏覽器中輸入http://localhost:8088測試web連接埠是否沒有被佔用出現如所示：

 

測試HDFS連接埠是否正常，在瀏覽器中輸入：http://localhost:50070出現如所示：

 

點擊“Browse the filesystem”能進入到hdfs目錄中則hdfs安裝完成，如所示：

 

經過以上配置並且在測試成功後我們的hadoop第二代平台（偽分布式）就全部安裝完成了。接下來我們可以利用它去做許多有趣的事情了。

    

Hadoop2.X版本偽分布式安裝詳細介紹【非抄襲，原創！】