Ubuntu16.04+hadoop2.7.4環境搭建_hadoop

轉載請註明源出處：http://www.cnblogs.com/lighten/p/6106891.html
1.JDK的安裝

1.去oracle官網下載,連結點此。也可以使用wget http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz 安裝包在你執行這個命令時所在的檔案夾位置。

　 2.解壓 tar -zxvf jdk-8u111-linux-x64.tar.gz

　 3.移動到自己想放的位置：

　　　　mkdir /usr/lib/jdk    

　　　　mv jdk1.8.0_111  /usr/lib/jdk/jdk1.8

　 4.設定環境變數：

　　　　方案一：修改全域設定檔，作用於所有使用者：vim /etc/profile 

　　　　export JAVA_HOME=/usr/lib/jdk/jdk1.8

　　　　export JRE_HOME=${JAVA_HOME}/jre

　　　　export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

　　　　export PATH=.:${JAVA_HOME}/bin:$PATH

　　　　方案二：修改目前使用者設定檔，只作用於目前使用者：vim ~/.bashrc 設定與上一樣

　 5.使修改的配置立刻生效：source /etc/profile 或者 source ~/.bashrc

　 6.檢查是否安裝成功：java -version

2.配置SSH及免密碼登陸

詳細：
hadoop需要使用SSH的方式登陸，linux下需要安裝SSH。用戶端已經安裝好了，只需要安裝服務端就可以了：

　　sudo apt-get install openssh-server 測試登陸本機 ssh localhost  輸入yes就應該可以登入了。但是每次輸入比較繁瑣，如果是叢集那就是災難了，所以要配置成免密碼登陸的方式。

　　一共有三步：

　　1.產生公開金鑰私密金鑰 ssh -keygen -t rsa，將在~/.ssh檔案夾下組建檔案 id_rsa：私密金鑰，id_rsa.pub：公開金鑰

                  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　2.匯入公開金鑰到認證檔案，更改許可權：

　　　　1）匯入本機：

                     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

　　　　2）匯入伺服器：

　　　　　首先將公開金鑰複製到伺服器：

 　　　　　#scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub 

                        id_rsa.pub                       100%  389     0.4KB/s   00:00

　　　　　然後，將公開金鑰匯入到認證檔案，這一步的操作在伺服器上進行：

　　　　　　cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 

　　　　　最後在伺服器上更改許可權：

　　　　　　chmod 700 ~/.ssh
    　　　　 chmod 600 ~/.ssh/authorized_keys  

　　　　3）測試：ssh localhost 第一次需要輸入yes，之後就不需要了。

3.Hadoop的安裝

　　1.下載hadoop安裝包，下載地址：點這裡。下載binary就行了。也可以使用wget命令下載。

We suggest the following mirrorsite for your download:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

Other mirror sites are suggested below. Please use the backup mirrors onlyto download PGP and MD5 signatures toverify your downloads or if no othermirrors are working.

#wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

2.解壓、移動到你想要放置的檔案夾

　　　　tar -zvxf hadoop-2.7.4.tar.gz

　　　　mv ./hadoop-2.7.4.tar.gz   /opt/hadoop

3.建立hadoop使用者和組，並授予執行許可權

　　　　sudo addgroup hadoop

　　　　sudo usermod -a -G hadoop xxx 　　#將目前使用者加入到hadoop組

　　　　sudo visudo　　#將hadoop組加入到sudoer                                         (來自：添加sudoer)

　　　　在root ALL=(ALL) ALL後 hadoop ALL=(ALL) ALL                 sudo chmod -R 755 /etc/opt/hadoop　　　　

                sudo chown -R xxx:hadoop /etc/opt/hadoop  //否則ssh會拒絕訪問

這些都是一般需要的操作，這篇文章還進行了其它的配置，如果遇到問題可以看看，是不是由於這些配置導致的：點這裡。

4.修改設定檔，和JDK的安裝一樣，可以選擇修改哪個檔案。這裡修改/etc/profile

　　　　export HADOOP_HOME=/etc/opt/hadoop2.7.4                                 (注意。根據自己的路徑)

　　　　export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

　　　　source /etc/profile