CentOS 6.5 偽分布安裝

標籤：des   style   blog   http   color   io   os   使用   java   

CentOS 6.5 偽分布安裝

軟體準備  jdk-6u24-linux-i586.bin 、hadoop-1.2.1.tar.gz、hadoop-eclipse-plugin-1.2.1.jar 、

         Eclipse-jee-indigo-SR2-linux-gtk.tar.gz

假設:  所有軟體壓縮包都放在  /home/hadoop 檔案夾下。

 

1、JDK安裝

1．1           root使用者登入，使用命令 mkdir  /usr/local/program 建立目錄program,用來存放jdk，本教材採用jdk版本 jdk-6u24-linux-i586.bin。

1.2 (如事先jdk在hadoop目錄下，則可以採用命令 cp /home/hadoop/ jdk-6u24-linux-i586.bin /usr/local/program/  進行複製)。

 

1.3 對jdk進行解壓

進入 /usr/local/program/ 目錄下，使用命令 ./jdk-6u24-linux-i586.bin進行解壓。

解壓成功：

會出現註冊介面，可以直接跳過：

1.4 可以選擇刪除 jdk的bin包，命令如下：

rm  -rf jdk-6u24-linux-i586.bin.

 

1.5 配置jdk

Root 使用者登入，執行命令  vim  /etc/profile    (/etc/profile這個檔案很重要，後面hadoop配置也會用到)。  按鍵盤i鍵，進行插入。

在後面添加如下：

 #set javaenvironment

exportJAVA_HOME=/usr/local/program/jdk1.6.0_24

exportJRE_HOME=/usr/local/program/jdk1.6.0_24/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

 

按 Esc+（shift+;）+wq  儲存退出。

退出後輸入 source  /etc/profile   是配置生效。

 

配置完成後，在命令列中輸入java  -version 查看是否配置成功。

 

2、SSH無密碼驗證

2.1       root許可權下，輸入rpm –qa | grep openssh 命令看看 ssh和rsync是否安裝。

2.2       產生無密碼金鑰組

使用ssh-kaygen –t rsa –P ‘ ‘ 命令

第一次驗證不是這樣，我這是第二次了，所以有overwrite，不過沒關係，我只是示範一下。

2.3       把 id_rsa.pub追加到授權key裡面去

命令  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

2.4  驗證是否配置成功

   輸入 ssh  localhost 命令，看是否可以無密碼進行登入。

不需要輸入密碼，只需要輸入 yes 即配置成功。

3、hadoop安裝

  3.1 把hadoop拷到 opt 目錄下，如果之前hadoop在hadoop目錄下，執行命令進行拷貝    cp /home/hadoop/hadoop-1.2.1.tar.gz  /usr/local/ 

3.2 進入 hadoop目錄，對hadoop進行解壓。

 cd  /usr/local/                 tar -zxvf hadoop-1.2.1.tar.gz

解壓完畢：

3.3 配置環境變數

  命令  vim  /etc/profile

輸入   #set hadoop

      export HADOOP_HOME=/usr/local/hadoop-1.2.1

      export PATH=$PATH:$HADOOP_HOME/bin

退出  輸入 source /etc/profile 使設定檔生效。

 

 

3.4 配置hadoop 設定檔

 命令  cd /usr/local/hadoop-1.2.1/conf   進入conf目錄

3.4.1 配置 hadoop-env.sh 檔案

開啟檔案命令   vim  hadoop-env.sh

添加           #setjava environment

               export JAVA_HOME=/usr/local/program/jdk1.6.0_24

編輯後儲存退出。

 

下面三個檔案配置非常重要!!!

3.4.2       配置core-site.xml  檔案

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000/</value>註：9000後面的“/”不能少

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop-1.2.1/hadooptmp</value>

</property>

</configuration>

3.4.3       配置 hdfs-site.xml  檔案

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

 

3.4.4       配置 mapred-site.xml   檔案

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

 

配置以上三個檔案一定要注意，千萬不能寫錯了！！！

 

3.4.5 配置 masters檔案和slaves檔案

[[email protected]]# vim masters

localhost

[[email protected]]# vim slaves

localhost

註：因為在偽分布模式下，作為 master 的 namenode 與作為 slave 的 datanode 是同一台

伺服器，所以設定檔中的 ip 是一樣的。

 

3.4.6  主機名稱和IP 解析設定 （這一步非常重要）

   命令   vim  /etc/hosts

3.4.7 編輯主機名稱

命令  vim  /etc/hostname

      vim  /etc/sysconfig/network

 

 

 

 

 

 

 

4、啟動 hadoop

 命令  cd  /usr/local/hadoop-1.2.1/bin   進入bin目錄

先格式化  命令  hadoop namenode  -format

啟動     命令   start-all.sh         

查看   jps

 

 

 

 

5、安裝 eclipse

5.1 把eclipse 拷到opt檔案夾下

  命令 cp /home/hadoop/ecipse-jee-indigo-SR2-linux-gtk.tar.gz  /opt

 

5.2 對eclipse 進行解壓

 

解壓成功

 

5.3  插入外掛程式hadoop-eclipse-plugin-1.2.1.jar

命令 cp  /home/hadoop/hadoop-eclipse-plugin-1.2.1.jar  /opt/eclipse/plugins

 

 

 

5.4 啟動eclipse

 

配置eclipse

 

建立 DFS Location

查看配置是否有錯

 

 

建立工程

運行代碼

CentOS 6.5 偽分布安裝