centos 下 Hadoop+Hbase 安裝手冊

 安裝前必看

因為Hadoop本身的優勢的將 檔案的儲存 和 任務處理 分布化，Hadoop分布式架構中有如下兩種負責不同功能的伺服器，master伺服器 和 slave伺服器。所以，本安裝手冊將從二者 的 共體到個體的說明。

安裝假定

安裝時假設要為2台服務 器安裝Hadoop架構，那麼我們假設：

1、兩台伺服器名稱為master和slave；

2、兩台伺服器作業系統均為centos5.* 且版本數大於等於 5.4；

3、Master將作為master主伺服器使用，slave將作為slave從伺服器使用；

4、Master和slave均正常運行 且 正常連網；

5、Master和slave的wget命令均可正常使用；

6、Master和slave空間足夠；

7、Master和slave均已擷取root許可權；

8、Master ip地址為 192.168.229.133；slave的ip地址為 192.168.229.134；

安裝&配置

說明：此部分將安裝master和slave共同的部分，以下操作請在master和slave上分別進行。

1、設定Hosts 和 Hostname

在Master和slave的/etc/hosts下共同增加：

192.168.229.133 master

192.168.229.134 slave

修改master的hostname檔案：

vi /etc/hostname

master

修改slave的hostname檔案：

vi /etc/hostname

slave

2、下載安裝jdk 1.6, 並配置，命令為 

wget  'http://download.oracle.com/otn-pub/java/jdk/6u26-b03/jdk-6u26-linux-i586-rpm.bin'

./jdk-6u26-linux-i586-rpm.bin

[等待jdk正常安裝完成，假設安裝後jdk的路徑為 /usr/java/jdk1.6.0-26]

ln -s /usr/java/jdk1.6.6-26 /usr/java/jdk

[配置java環境變數]

vi  /etc/profile 

[在檔案末添加]

export JAVA_HOME=/usr/java/jdk
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin 

[儲存退出，使設定生效]

source  /etc/profile

3、安裝openssh，命令為：

yum install openssh

[設定ssh無密碼串連]

ssh-keygen -t rsa -P '' -f /root/.ssh/id_dsa

cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

[將master的id_dsa.pub 傳給slave，命名為master_id_dsa ]

[在slave 上執行操作 cat master_id_dsa.pub >> /root/.ssh/authorized_keys ]

4、下載安裝 Hadoop，命令為：

wget  'http://labs.renren.com/apache-mirror//hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz'

tar zxvf hadoop-0.20.2.tar.gz

cp -r  hadoop-0.20.2  /opt/hadoop

[配置hadoop環境變數]

vi  /etc/profile 

[在檔案末添加]

export HADOOP_HOME=/opt/hadoop

[配置hadoop]

cd  /opt/hadoop/conf

vi  hadoop-env.sh

[在末尾添加 ]

export JAVA_HOME=/usr/java/jdk

vi core-site.xml

[在<configuration>節點下添加]

<property>

  <name>hadoop.tmp.dir</name>

  <value>/home/hadoop-${user.name}</value>

</property>

<property>

  <name>fs.default.name</name>

  <value>hdfs://master:9000</value>

</property>

vi mapred-site.xml

[在<configuration>節點下添加]

<property>

  <name>mapred.job.tracker</name>

  <value>master:9001</value>

</property>

vi master

[將內容改為以下內容，注意：不是添加是更改]

master

vi slaves

[將內容改為以下內容，注意：不是添加是更改]

slave

5、下載安裝Hbase, 命令為：

wget  'http://labs.renren.com/apache-mirror//hbase/hbase-0.90.3/hbase-0.90.3.tar.gz'

tar zxvf hbase-0.90.3.tar.gz

cp -r  hbase-0.90.3  /opt/hbase

[編輯hbase設定檔]

cd /opt/hbase/conf

vi hbase-env.sh

[在檔案的末尾添加]

export JAVA_HOME=/usr/java/jdk

export HADOOP_CONF_DIR=/opt/hadoop/conf

export HBASE_HOME=/opt/hbase

export HBASE_LOG_DIR=/var/hadoop/hbase-logs

export HBASE_PID_DIR=/var/hadoop/hbase-pids

export HBASE_MANAGES_ZK=true

export HBASE_CLASSPATH=$HBASE_CLASSPATH:/opt/hadoop/conf

vi hbase-site.xml

[在<configuration>節點下添加 ]

<property>

    <name>hbase.rootdir</name>

    <value>hdfs://master:9000/hbase</value>

</property>

<property>

    <name>hbase.tmp.dir</name>

    <value>/home/hbase-${user.name}</value>

</property>

<property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

</property>

<property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

</property>

<property>

      <name>hbase.zookeeper.quorum</name>

      <value>slave</value>

</property>

<property>

      <name>hbase.zookeeper.property.dataDir</name>

      <value>/home/hbase-data</value>

</property>

vi regionservers

[ 替換其中內容 ]

slave

rm /opt/hbase/lib/hadoop-core-0.20-*

cp  /opt/hadoop/hadoop-0.20.2-core.jar  ./