hadoop2.5.0 centOS系列 分布式的安裝 部署

標籤：des   style   blog   http   color   os   io   使用   java   

     首先第一步.設定免密碼SSH登陸，這是為了以後使用scp 傳輸檔案方便，直接同步處理檔案與檔案夾，而且ssh 隨時切換到相應的伺服器上  

         先安裝好ssh 如果沒有安裝 那麼 按照下面操作 ，這是網上複製的

1.安裝啟動 ssh

   1、檢查linux是否已經按openssh

命令：# rpm -qa |grep openssh如果安裝了，就可以看到安裝的版本號碼，否則就沒有安裝。

2、安裝# rpm －ivh openssh-3.5p1-6    

# rpm －ivh openssh-server-3.5p1-6   

 # rpm －ivh openssh-askpass-gnome-3.5p1-6  

 # rpm －ivh openssh-clients-3.5p1-6  

 # rpm －ivh openssh-askpass-3.5p1-6 

3、啟動方法方法1：# service sshd start   

 方法2：使用絕對路徑執行以下命令：

 # /etc/rc.d/init.d/sshd start  

 或者# /etc/rc.d/sshd start

4、自動啟動方法另外，如果想在系統啟動時就自動運行該服務，那麼需要使用setup命令，

在system service的選項中，選中sshd守護進程即可。 

 chkconfig sshd on

 通過ntsysv 選中sshd服務

也可以通過chkconfig也設定chkconfig -- level 3 sshd on

5、配置ssh設定檔目錄：/etc/ssh/sshd_config

  port 22

  安裝好了 後，我們開始產生ssh的的公開金鑰 與 私密金鑰

我有四台機器 192.168.250.195  192.168.250.197  192.168.250.200  192.168.250.196  最後196作為主master

所以先ssh登陸到196機器 然後執行下面命令

  ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys [email protected] ~/.ssh/authorized_keys 


下面是以前嘗試 時候的，參考，可以直接指令碼scp 加上管道直接一步完成




然後 配置 然後 以後從master 機器使用scp ssh  都不需要輸入密碼

 然後我們修改並同步hosts屬性檔案

 vi  /etc/sysconfig/network 分別修改HOSTNAME=master  HOSTNAME=slave1 ....slave2  slave3

下面 修改vi /etc/hosts 檔案

192.168.250.196   master
192.168.250.195   slave1
192.168.250.197   slave2
192.168.250.200   slave3

下面 scp同步

 下面我們 下載hadoop然後  在master上 修改好設定檔 然後scp同步到其他slave上即可

  tar -zxf hadoop-2.5.0.tar.gz -C /usr/local/

  cd /usr/local

   ln -s hadoop-2.5.0 hadoop

  配置好環境變數

 vi /etc/profile 

  

export HADOOP_PREFIX="/usr/local/hadoop"export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbinexport HADOOP_COMMON_HOME=${HADOOP_PREFIX}export HADOOP_HDFS_HOME=${HADOOP_PREFIX}export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}export HADOOP_YARN_HOME=${HADOOP_PREFIX}

 當然需要前提安裝好java環境

  然後進入hadoop目錄 cd /usr/local/hadoop 修改

vi /etc/hadoop/yarn-env.sh 還有hadoop-env.sh 匯入java環境

export JAVA_HOME=/usr/local/jdk8 如果預設使用 yum 安裝的則不需要

然後

修改目錄檔案夾的core-site.xml

 <property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>The name of the default file system.</description></property>

 修改hdfs-site.xml  記住是///

 

然後下面修改yarn-site.xml

配置yarn 的resourceManger為master

 然後修改mapred-site.xml

預設沒有mapred-site.xml檔案，copy  mapred-site.xml.template 一份為 mapred-site.xml即可

然後配置 告訴hadoop 其他從節點，這樣，只要主節點啟動，他會自動啟動其他機器上的nameNode dataNode 等等

vi  /usr/local/hadoop/etc/hadoop/slaves

添加以下內容

  OK 基本的全部配置已經完成

下面就是同步該檔案夾 到其他各個從主機上即可 因為我們使用ssh免登陸 不需要使用密碼

scp -r /usr/local/hadoop [email protected]:/usr/local/hadoop

scp -r /usr/local/hadoop [email protected]:/usr/local/hadoop

scp -r /usr/local/hadoop [email protected]:/usr/local/hadoop

ok

同步好了 後，然後我們開始在主節點 也就是當前的master 的usr/local/hadoop/sbin執行format

hdfs namenode -format

然後依次執行start-dfs.sh 

在執行start-yarn.sh

也可以簡單粗暴的直接start-all.sh

然後jps命令就可以查看到hadoop的運行狀態了

在從節點上 

也許一些使用者發現ResourceManager沒有啟動 

不過不要擔心

只需要在master 下執行

yarn-daemon.sh start nodemanager 即可

ok 我們可以

使用

hadoop dfsadmin -report 查看狀態

web介面 master:50070/50030

Ok到此 就完成了

可以使用測試案例 測試一下試試

另外 記住 如果是 出現錯誤 http://blog.csdn.net/jiedushi/article/details/7496327 可以參考一下這篇部落格

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount  /user/wordcount/in /user/wordcount/out




下面是幾張圖

 

hadoop2.5.0 centOS系列 分布式的安裝 部署