【hadoop之翊】——基於CentOS的hadoop2.4.0偽分布安裝配置

標籤：

今天總算是把hadoop2.4的整個開發環境弄好了，包括 windows7上eclipse串連hadoop，eclipse的配置和測試弄得煩躁的一逗比了~

先上一張成功的圖片，hadoop的偽分布式安裝配置，僅僅要依照步驟來，有點基礎的 基本沒什麼問題的。。eclipse的配置 弄了非常長一段時間才弄好的，中間出現各種意外的錯誤。。下篇部落格將重點講述這個艱難的過程。。。

今天來說說hadoop2.4的安裝和配置吧~

1、環境的準備：

系統：CentOS

JDK版本號碼：jdk7

系統須要包括ssh服務的。

CentOS配置：/etc/profile 最後面加入例如以下：（此設定檔接的是上次編譯hadoop2.4原始碼的設定檔：http://blog.csdn.net/enson16855/article/details/35568049）

export JAVA_HOME=/usr/java/jdk1.7.0_60export PATH="$JAVA_HOME/bin:$PATH"export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1export PATH="$MAVEN_HOME/bin:$PATH"export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4export PATH="$ANT_HOME/bin:$PATH"export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"export HADOOP_PREFIX PATH CLASSPATHexport LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/

注意：這邊要求下載好hadoop-2.4.0，而且解壓到指定的檔案夾（本人的：/home/hadoop/soft/hadoop）~

：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/

2、配置hadoop

hadoop-env.sh：

export JAVA_HOME=/usr/java/jdk1.7.0_60export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

core-site.xml ：

<configuration>        <property>                <name>fs.default.name</name>                <value>hdfs://192.168.0.167:9000</value>        </property>        <property>                <name>dfs.namenode.name.dir</name>                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>        </property>        <property>                <name>dfs.datanode.data.dir</name>                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>        </property></configuration>

hdfs-site.xml ：

<configuration>        <property>                <name>dfs.replication</name>                <value>1</value>        </property>        <property>                <name>dfs.permissions</name>                <value>false</value>        </property>        <property>                <name>dfs.namenode.name.dir</name>                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>        </property>        <property>                <name>dfs.datanode.data.dir</name>                <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>        </property></configuration>

mapred-site.xml,這裡2.4.0中沒有這個檔案，能夠建立一個，或者直接改動mapred-site.xml.template

<configuration>        <property>                <name>mapreduce.jobtracker.address </name>                <value>192.168.0.167:9001</value>        </property></configuration>

yarn-site.xml：

<configuration><!-- Site specific YARN configuration properties -->        <property>                <name>mapreduce.framework.name</name>                <value>yarn</value>        </property>        <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>        </property></configuration>

3，ssh免password登陸設定

命令：（此處要切換root使用者，不要傻逼嘻嘻的一直使用個人使用者）

ssh-keygen -t rsa -P ""

直接斷行符號就可以

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

試一下ssh localhost要是能免password登陸顯示系統資訊，就應該是對的。（這裡有個輸入password環節，是系統的password）

4、格式化hdfs：

命令：

./bin/hadoop namenode -format 

出現上面這個圖片那樣的 說明格式化成功。。。。

5、啟動hadoop

命令：

./sbin/start-all.sh

新版本號碼的hadoop事實上不建議這麼直接start-all，建議一步步來，須要start-dfs.sh等等一系列的操作，反正我們僅僅是做實驗一樣，我就沒這麼去講究了。。

關閉的命令：

./sbin/stop-all.sh

啟動成功例如以下：

基本啟動的進程例如以下：

SecondaryNameNode
DataNode
NodeManager
Jps
ResourceManager
NameNode

瀏覽器訪問：http://localhost:50070 

http://localhost:8088 hadoop進程管理頁面

這樣就算是總體成功了。。

【hadoop之翊】——基於CentOS的hadoop2.4.0偽分布安裝配置