Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse環境

標籤：des   style   blog   http   color   io   os   ar   使用   

 下在相關軟體：

（需要根據系統是32位還是64位選擇軟體的版本：jdk和eclipse。本人機器記憶體4G，安裝64位虛擬機器系統非常卡，建議虛擬機器安裝32位版本，實體機可以安裝64位）

HADOOP：http://mirrors.hust.edu.cn/apache/hadoop/common/

JDK：　　  http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

TOMCAT：http://tomcat.apache.org/download-80.cgi

 ECLIPSE：http://www.eclipse.org/downloads/

（JSE是標準版、JEE是企業版，eclipse下載JEE，jdk下載JSE）

安裝虛擬機器

Vmware+Ubuntu14.04-32

使用者名稱：sunny

機器名：SUNNYPC

硬碟大小：128G(至少大於20G）

安裝完之後，

更新源sudo apt-get update

安裝sudo apt-get install vim

下面假定電腦使用者名稱：sunny

將下載好的軟體複製到/home/sunny/Downloads目錄下：

 

打算將jdk安裝到系統目錄下：/usr/local/lib下

將hadoop、tomcat、eclipse安裝到使用者目錄下：/home/sunny/usr/下

[說明：安裝非常簡單就是解壓到相應的目錄下，主要是設定目錄許可權和設定檔]

添加root使用者：

sudo passwd root

輸入密碼即可。

修改機器名：

sudo gedit /etc/hostname

改為:MASTERPC

sudo  gedit /etc/hosts

將SUNNYPC改為：MASTERPC

重啟生效。

安裝JDK

cd /usr/local/lib/su roottar -zxvf /home/sunny/Downloads/jdk-7u71-linux-x64.tar.gz

  (註：這裡sunny使用者的目錄要寫完整，~會跑到root使用者的目錄中去)

ls -l

修改檔案夾的所屬使用者和使用者組（root:root），檔案夾許可權（755root使用者可讀可寫可執行，其他使用者可讀可執行）, 將jkd路徑配置到系統內容變數中.

chown root:root -R jdk1.7.0_71/chmod 755 -R jdk1.7.0_71/gedit /etc/profile

export JAVA_HOME=/usr/local/lib/jdk1.7.0_671
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

. /etc/profilesu sunny java -version

 

（注意：jdk版本更新較快，上面配置命令中jdk的路徑一定要根據自己的檔案夾名稱進行跟改，包括下面hadoop中的java_home）

如果 java -version 顯示的不對，首先檢查是否. /etc/profile，上面的路徑是否配置正確了，然後如果系統中已經安裝了多個版本的jdk

就配置一下預設的jdk：

sudo update-alternatives --install /usr/bin/java java /usr/local/lib/jdk1.7.0_71/bin/java 300   （預設java，執行javasudo update-alternatives --install /usr/bin/javac javac /usr/local/lib/jdk1.7.0_71/bin/javac 300 （預設javac，編譯java）sudo update-alternatives --list java  （顯示系統中的 jdk）

 

安裝Hadoop、Tomcat、eclipse

cd ~/usrtar -zxvf ../Downloads/hadoop-1.2.1.tar.gztar -zxvf ../Downloads/eclipse-jee-luna-SR1-linux-gtk.tar.gztar -zxvf ../Downloads/apache-tomcat-8.0.14.tar.gz

 

 

可以發現上面檔案夾的許可權和使用者使用者組都是正確的，也可以通過命令手工修改。

配置hadoop：

-安裝ssh

sudo apt-gt install sshcd ~ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost

 一路斷行符號，輸入密碼，以後ssh就可以自動登陸了。

-配置hadoop

進入到~/usr/hadoop-1.2.1/conf

 

core-site.xml:<configuration>    <property>        <name>fs.default.name</name>        <value>hdfs://localhost:9000</value>    </property></configuration>------------------------------------------------------mapred-site.xml:<configuration>    <property>        <name>mapred.job.tracker</name>        <value>localhost:9001</value>    <property></configuration>-------------------------------------------------------hdfs-site.xml:<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration>-------------------------------------------------------hadoop-env.sh:export JAVA_HOME=/usr/local/lib/jdk1.7.0_71

配置成單機偽分布式時，主機名稱為localhost，而不能是MASTERPC，因為通過ifconfig可見沒有MASTERPC的迴環地址127.0.1.1隻有localhost的127.0.0.1.

localhost或者MASTERPC因改根據自己的實際情況變更

格式化namenode檔案系統

cd ~/usr/hadoop-1.2.1/

bin/hadoop namenode -format

開啟服務：

cd ~/usr/hadoop-1.2.1/bin

./start-all.sh

查看啟動的節點：

jps

查看系統運行：

在瀏覽器中輸入localhost:50070

 測試例子：

cd ~/usr/hadoop-1.2.1

./bin/hadoop fs -put  README.TXT readme.txt

可以發現系統自動在hdfs檔案系統中建立檔案夾：/usr/sunny,並組建檔案/usr/sunny/readme.txt

（可以通過瀏覽器中localhost:50070 點擊Browse the filesystem查看,也可以直接在eclipse中reconnect Hadoop查看）

 

./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount readme.txt output
執行完畢後，會自動產生hdfs的/home/sunny/output/part-r-00000檔案

使用如下命令查看結果：

./bin/hadoop fs -cat output/part-r-00000

配置tomcat:

待續

配置eclipse：

在/home/sunny目錄下建立workspace/eclipse目錄作為eclipse的工作目錄。

到/home/sunny/usr/eclipse雙擊開啟eclipse，選擇剛才的工作目錄。

-for hadoop

 配置eclipse的hadoop應用開發環境：

1.  需要將hadoop中的eclipse外掛程式放到eclipse下的plugins目錄中，但是新版本的hadoop都需要自己編譯外掛程式，也可以從網上下載別人已經編譯好的。
2.  window -> show view -> other 選擇Map/Reduce Tools，單擊ecilpse右下部選項卡上的藍色大象，編輯hadoop-site檔案系統的位置
3. 在編輯介面中，位置名隨便起，左邊的MR 和右邊的 DFS分別用來配置job tacker和Distributed File System的主機和連接埠，應該與hadoop的設定檔對應。

->->->->

配置完成之後開啟hadoop服務，就可以在eclipse中查看DFS檔案系統中的檔案了。

->

測試hadoop：

建立Map/Reduce Project，在use default hadoop 右面點擊配置hadoop安裝路徑。

在Project Explore視窗中src右鍵建立WordCount類，包名org.apache.hadoop.examples,輸入如下代碼：

（參見：/home/sunny/usr/hadoop-1.2.1/src/examples/org/apache/hadoop/examples/WordCount.java)

編譯成功之後，運行代碼，由於main運行時需要參數，所以右鍵->Run As->Run Configration->Java Application->WordCount->Arguments

（運行程式之前刪除hdfs://user/sunny/output目錄，如果這個存在）

配置完成後點擊Run按鈕下三角 ， 選擇Run On Hadoop，OK，運行完畢之後，DFS表徵圖右鍵reconnect可以看見output下產生的檔案。

-for tomcat

 配置ecilpse的web開發環境：

 server版本和路徑配置：

 winow->preference->server->run time environment->add->(選擇tomcat版本)->(自己安裝的tomcat根路徑）+（自己的jdk版本）

返回eclipse介面，右下角找到servers選項卡，點擊建立server,(修改主機名稱,選擇版本)->finish

這樣server選項卡就可以使用了，可以啟動關閉tomcat，右鍵添加工程等。

建立web工程：

file->new->dynamic web->(工程名，tomcat版本，dynamic web module sersion=2.5)->finish

servers選項卡中右鍵add and remove將自己建立的web工程添加進來。

（有時候從別處拷的程式配置tomcat目標版本可能與自己的環境不一樣，在工程右鍵->properties->server選擇tomcat目標版本）

在工程的->WebContent右鍵 添加html檔案：

輸入：

<!DOCTYPE html><html>    <head>        <meta charset="UTF-8">        <title>Insert title here</title>    </head>    <body><h1>Hello world!</h1>    </body></html>    

 點擊運行，run on server，會自動啟動tomcat，開啟瀏覽器：

至此一台虛擬機器的配置就結束了。

-------------------------------------------------------------------------------------------------------------------------------------------------------

（待驗證）

對於多台機器的配置，複製虛擬機器到多台機器上，網路方式設定為橋接，將從節點的主機名稱按照SLAVEPC+NUM的形式改名。

1. 配置好個各機器的ip地址，然後將機器名和對應的ip都寫到/etc/hosts檔案中，sudo gedit /etc/hosts(各台機器同步修改，以後添加新的slave也是）
2. 修改hadoop-1.2.1/conf目錄下的檔案，將之前的localhost都改成MASTERPC，master檔案：MASTERPC，slaves檔案：自己添加的所有slave機器（同步修改）
3. 在MASTERPC中產生的ssh密鑰的公開金鑰複製到slave機器中（authorized_keys）
4. 每次更改了節點群組成後，多需要namenode -format一下。

Ubuntu14.04LTS 下配置Tomcat Hadoop eclipse環境