Hadoop新生報到（一） hadoop2.6.0偽分布式配置詳解，hadoophadoop2.6.0

Hadoop新生報到（一） hadoop2.6.0偽分布式配置詳解，hadoophadoop2.6.0

　　首先先不看理論，搭建起環境之後再看；

　　搭建偽分布式是為了類比環境，調試方便。

　　電腦是win10，用的虛擬機器VMware Workstation 12 Pro，跑的Linux系統是centos6.5 ，裝的hadoop2.6.0，jdk1.8；

　　1.準備工作

　　準備工作：把JDK和Hadoop安裝包上傳到linux系統（hadoop使用者的根目錄）

　　系統內容：IP：192.168.80.99，

　　linux使用者：

　　root/123456，hadoop/123456

　　主機名稱：node

　　把防火牆關閉，root執行：service iptables stop

　　2.jdk安裝

　　1.在hadoop使用者的根目錄，Jdk解壓，（hadoop使用者操作）tar -zxvf jdk-8u65-linux-x64.tar.gz 解壓完成後，在hadoop使用者的根目錄有一個jdk1.8.0_65目錄

　　2.配置環境變數，需要修改/etc/profile檔案（root使用者操作）切到root使用者，輸入su命令 vi /etc/profile 進去編輯器後，輸入i，進入vi編輯器的插入模式在profile檔案最後添加

JAVA_HOME=/home/hadoop/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin

　　編輯完成後，按下esc退出插入模式輸入：，這時在左下角有一個冒號的標識

　　q   退出不儲存

　　wq  儲存退出

　　q!   強制退出

　　3.把修改的環境變數生效（hadoop使用者操作）

　　執行source /etc/profile

　　4.執行 java -version 查看版本，如果成功證明jdk配置成功

　　

　　3.Hadoop 安裝

　  1.在hadoop使用者的根目錄，解壓（hadoop使用者操作）

　　　　tar -zxvf hadoop-2.6.0.tar.gz

　　　解壓完成在hadoop使用者的根目錄下有一個hadoop-2.6.0目錄

　　2.修改設定檔hadoop-2.6.0/etc/hadoop/hadoop-env.sh（hadoop使用者操作）

　　　　export JAVA_HOME=/home/hadoop/jdk1.8.0_65

　　3.修改設定檔hadoop-2.6.0/etc/hadoop/core-site.xml，添加（hadoop使用者操作）

　　

<property> <name>fs.defaultFS</name> <value>hdfs://node:9000</value> </property>

　　4.修改設定檔hadoop-2.6.0/etc/hadoop/hdfs-site.xml，添加（hadoop使用者操作）

　　

<property> <name>dfs.replication</name> <value>1</value> </property>

　　5.修改修改設定檔hadoop-2.6.0/etc/hadoop/mapred-site.xml （hadoop使用者操作）,這個檔案沒有，需要複製一份

　　　　cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

　　　　添加

<property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property>

　　6.修改設定檔hadoop-2.6.0/etc/hadoop/yarn-site.xml，添加（hadoop使用者操作）

<property>         <name>yarn.nodemanager.aux-services</name>         <value>mapreduce_shuffle</value>     </property>

　　

　　7.修改主機名稱（root使用者操作），重啟生效

　　　　vi /etc/sysconfig/network

　　修改HOSTNAME的值為使用者名稱

　　8.修改/etc/hosts檔案（root使用者操作）,添加： ip 主機名稱

　　　　192.168.44.199（用自己的ip，下邊講如何獲得）  node

　　附：查看ip地址

　　編輯-->虛擬網路編輯器

　　net模式，選DHCP設定，得到ip地址起始

　　

 net設定，得到網關

點右邊小電腦，選擇 VPN Connections-->Configue VPN

選中eth0，點有右邊edit

選擇IP Settings ，根據自己的ip按圖修改，Address就是你的ip地址，在起始ip地址和結束ip地址之間選一個就行

　　9.格式化HDFS，在hadoop解壓目錄下，執行如下命令：（hadoop使用者操作）

　　　　bin/hdfs namenode -format

　　注意：格式化只能操作一次，如果因為某種原因，叢集不能用， 需要再次格式化，需要把上一次格式化的資訊刪除，在/tmp目錄裡執行 rm –rf *

　　10.啟動叢集，在hadoop解壓目錄下，執行如下命令：（hadoop使用者操作，用機後來改過，主機為gp）

　　　　啟動叢集：sbin/start-all.sh   需要輸入四次目前使用者的密碼(通過配置ssh互信解決，用機已經配置過ssh不用輸密碼)

　　　啟動後，在命令列輸入jps有以下輸出

關閉叢集：sbin/stop-all.sh  需要輸入四次目前使用者的密碼(通過配置ssh互信解決，我的同上)

 

　　4.SSH互信配置（hadoop使用者操作）
　　rsa加密方法，公開金鑰和私密金鑰
　　1.產生公開金鑰和私密金鑰
　　在命令列執行ssh-keygen，然後斷行符號，然後會提示輸入內容，什麼都不用寫，一路斷行符號
　　在hadoop使用者根目錄下，有一個.ssh目錄
　　id_rsa私密金鑰
　　id_rsa.pub公開金鑰
　　known_hosts通過SSH連結到本主機，都會在這裡有記錄
　　2.把公開金鑰給信任的主機(本機)
　　在命令列輸入ssh-copy-id 主機名稱
　　ssh-copy-id hadoop
　　複製的過程中需要輸入信任主機的密碼
　　3.驗證，在命令列輸入：ssh 信任主機名稱
　　ssh hadoop
　　如果沒有提示輸入密碼，則配置成功

 

 　　至此，大功告成。