Linux下Hadoop的安裝（單機版）

1.安裝前準備1.1建立hadoop使用者首先建立hadoop使用者組和使用者，如果對linux命令不熟悉，可以參考 http://blog.csdn.net/huhui_bj/article/details/8878701中的命令。

addgroup hadoop //建立hadoop組useradd hadoop -g hadoop -m //建立hadoop使用者並加入hadoop組passwd hadoop //設定hadoop使用者密碼

1.2下載hadoop安裝程式我所用的是hadoop1.0.4，也是目前比較穩定的版本，： hadoop1.0.4下載完之後，把檔案放在hadoop使用者目錄的software目錄下，然後用tar命令解壓縮（請確保是用hadoop使用者解壓縮，否則需要改變檔案夾的使用者和使用者組）：

tar -zxvf hadoop-1.0.4.tar.gz

1.3安裝ssh 請確保你的Linux系統中已經安裝了ssh軟體，一般的Linux發行版都已經在安裝完作業系統之後內建ssh軟體。如果沒有，執行以下命令安裝：

sudo apt-get install ssh

1.4安裝rsync請確保你的Linux中已經安裝了rsync，不然，請執行以下命令安裝：

sudo apt-get install rsync

1.5配置ssh免密碼登入

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

如果在配置ssh免密碼登入的時候出現了ssh: connect to host localhost port 22: Connection refused錯誤，解決的辦法如下：

第一步，在https://launchpad.net/ubuntu/lucid/i386/openssh-client/1:5.3p1-3ubuntu3

下載檔案並安裝：$ sudo dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb 

第二步，在https://launchpad.net/ubuntu/lucid/i386/openssh-server/1:5.3p1-3ubuntu3

下載檔案並安裝：$ sudo dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb 

第三步，在https://launchpad.net/ubuntu/lucid/i386/ssh/1:5.3p1-3ubuntu3

下載檔案並安裝：$ sudo dpkg -i ssh_5.3p1-3ubuntu3_all.deb 

驗證ssh免登入是否配置成功：

 

ssh localhost

 

出現如下資訊，則說明ssh免登入配置成功：

1.6安裝並配置JDK JDK的安裝和配置，請參考博文
http://blog.csdn.net/huhui_bj/article/details/8596388中關於JDK的安裝說明。 2.安裝並配置單機版Hadoop

2.1修改hadoop-env.sh 在hadoop目錄下的conf目錄下，找到hadoop-env.sh檔案，將JAVA_HOME配置進去：

vi conf/hadoop-env.sh

添加JAVA_HOME：

JAVA_HOME=/home/hadoop/software/jdk1.6.0_21

2.2修改hadoop的核心設定檔core-site.xml，配置HDFS的地址和連接埠號碼

vi conf/core-site.xml

添加如下內容：

<configuration>     <property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>     </property></configuration>

2.3修改hadoop中HDFS的配置

vi conf/hdfs-site.xml

添加如下內容：

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property></configuration>

2.4修改hadoop中MapReduce的設定檔，配置的是JobTracker的地址和連接埠

vi conf//mapred-site.xml

添加如下內容：

<configuration>     <property>         <name>mapred.job.tracker</name>         <value>localhost:9001</value>     </property></configuration>

以上就是單機版Hadoop的最小化配置 2.5格式化一個新的Distributed File System

bin/hadoop namenode -format

2.6啟動hadoop

bin/start-all.sh

3.驗證Hadoop是否安裝成功

• HDFS的web頁面： - http://localhost:50070/
• MapReduce的web頁面： - http://localhost:50030/

如果這兩個頁面能開啟，說明你的hadoop已經安裝成功了。3.1運行WordCount例子將start-all.sh檔案放入hadoop的檔案系統input目錄下：

bin/hadoop fs -put start-all.sh /input

運行Wordount例子：

bin/hadoop jar hadoop-examples-1.0.4.jar  wordcount /input /output