Ubuntu14.0上編譯安裝Hadoop

標籤：des   style   blog   http   io   color   ar   使用   java   

Ubuntu14.0上編譯安裝Hadoop

環境：

hadoop-2.5.0.tar

hadoop-2.5.0-src.tar

jdk-7u71-linux-x64

protobuf-2.5.0.tar 

Maven3.0

 

安裝步驟：

1 安裝jdk ，配置環境變數

2 安裝依賴包

3 安裝maven

4安裝protobuf-2.5.0.tar

5 編譯Hadoop

 

6 安裝hadoop

6.1 單機模式

6.2 偽分布模式

6.3 叢集模式

 

1 安裝jdk ，配置環境變數

下載jdk版本：jdk-7u71-linux-x64.gz預設下載放在Download目錄下：

進入Download目錄；

• 1解壓jdk安裝包到指定目錄

 sudo tar zxvf jdk-7u67-linux-x64.gz -C /usr/

預設把jdk放在、usr這個目錄下

• 進入該目錄下 重新命名jdk，這一步給jdk重新命名 如： jdk-1.7

sudo mv jdk-7u71-linux-x64.tar.gz jdk-1.7

• 配置環境變數

使用vim ~/.bashrc命令編輯  （vi下刪除是x   vim 下刪除時退格鍵）可能需要安裝vim : sudo apt-get install vim

在底部加入以下命令：

#set Java Environment

export JAVA_HOME=/usr/jdk-1.7  

export JRE_HOME=${JAVA_HOME}/jre   

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   

export PATH=${JAVA_HOME}/bin:$PATH 

• 使用命令：source ~/.bashrc

.

 將系統預設的jdk修改過來

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_05/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_05/bin/javac 300

sudo update-alternatives --config java 

sudo update-alternatives --config javac

來源： <http://blog.sina.com.cn/s/blog_675e4f240102uwim.html>

 

• 驗證 在終端輸入java 出現下面欄位表示安裝成功

2 安裝依賴包

2.1 

sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 

2.2因為還要用到ssh，所以如果機器上沒有的話，裝個openssh的用戶端就好啦 (ubuntu 12.04應該預裝了) 

$ sudo apt-get install openssh-client

裝server

$ sudo apt-get install openssh-server  

 

3 安裝maven

sudo apt-get install maven 

測試：mvn --version

 

4 安裝protobuf-2.5.0.tar

這個試了網上的很多方法：如

ar -xzf protobuf-2.1.0.tar.gz 

 cd protobuf-2.1.0 

 ./configure --prefix=/usr/local/protobuf

 make 

 make check 

 make install 

  但是最後都安裝失敗，最終用apt-get命令安裝成功

 

 安裝Google ProtocolBuffer

 $ sudo apt-get install protobuf-compiler

   裝完後確認版本是否滿足安裝指南BUILDING.txt裡所指定的2.5.0版本的要求。

   卸載 $ sudo apt-get remove protobuf-compiler

 

（在ubuntu12.04 server下裝的這個軟體包是2.4.1的， 某T同學在ubuntu 14.04 desktop下通過apt-get裝的是2.5.0)

於是在ubuntu12.04 server下仍舊要去google code 找源碼包編譯。

來源： <https://www.evernote.com/shard/s341/sh/2e7bcfe5-0d1a-4faa-8be1-6b25304c4a77/a854b4141e743da683c5f8d386fd635d?content=>

5 編譯Hadoop

 最後（可能多次進入這個“最後”），cd 進 hadoop的源碼根目錄，查看 BUILDING.txt， 如果不習慣可以在宿主機用瀏覽器進hadoop的github裡直接查看該檔案的第165行到第167行，並瞭解一下maven生命週期之類的。

在hadoop源碼的根目錄執行

(若由於各種原因出錯回到這一步，請先 $ mvn clean)

$ mvn package -Pdist,native -DskipTests -Dtar (這裡我省略了src和doc)

 

11. 最後如果看到了這樣的資訊，就算Build完了， - -# 累。

[INFO]-------------------------

[INFO] BUILD SUCCESS

[INFO]-------------------------

[INFO] Total time: xx:xx min 

(我的linux mint編譯了27min，虛擬機器上的ubuntu12編譯了42min，求碾壓級超越）

 

12. 編譯的結果在源碼根目錄的hadoop-dist/target/裡，在該目錄下執行

$ hadoop-2.5.1/bin/hadoop version

可以看到hadoop版本資訊和編譯資訊。

target 目錄裡枝繁葉茂，嫌cd繁瑣的又懂簡單使用vim者（知道hjkl和:q ），建議安裝字元介面的瀏覽目錄器ranger

$ sudo apt-get install ranger

使用方法很簡單

$ ranger [目錄名] （如果不打，就預設是目前的目錄）

 

Ubuntu14.0上編譯安裝Hadoop