ubuntu 14.04 hadoop eclipse 初級環境配置

來源:互聯網
上載者:User

標籤:style   class   java   http   tar   ext   

接觸hadoop第二天,配置hadoop到環境也用了兩天,將自己配置的過程寫在這裡,希望對大家有所協助!


我將文中用到的所有資源都分享到了  這裡,點開就能下載,不需要一個個的找啦!

其中有《Hadoop 技術內幕》這本書,第一章講述了這個配置過程,但是不詳細~


---------------安裝jdk-------------------------------

1.
下載jdk1.6.0_45

2.解壓到opt檔案夾下,配置/etc/profile,在檔案尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

3.然後用source /etc/profile來重新執行剛修改的初始設定檔案(profile)

4.配置預設程式
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300

然後執行以下代碼選擇我安裝到jdk版本:
update-alternatives --config java
5.之後就可以用java -version來查看java的版本了

---------------安裝eclipse-------------------------------
1.從官網下載java版到eclipse
http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
2.解壓到/home/simon檔案夾下
3.用vi建立shell指令碼命名為eclipse
 vi /usr/local/bin/eclipse
內容如下:
/home/simon/eclipse/eclipse
4.為指令碼eclipse添加可執行許可權: chmod +x /usr/local/bin/eclipse
5.直接輸入eclipse來啟動它了

---------------安裝ant-------------------------------
1.下載ant
http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
2.解壓複製到/home/simon 檔案夾下
3.修改/etc/profile 檔案
export ANT_HOME=/home/simon/apache-ant-1.9.4
export PATH=$PATH$:$ANT_HOME/bin
4.然後用source /etc/profile來重新執行剛修改
5.輸入ant -version驗證安裝成功
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
---------------安裝hadoop-------------------------------
1.修改機器名稱,編輯/etc/hostname 修改為localhost
2.配置ssh無密碼登入
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3.如果命令 ssh localhost不成功,則需要啟動ssh服務
通過以下命令啟動ssh服務
service ssh start
/etc/init.d/ssh start
如果還是啟動失敗,那就重啟吧,管用

3.配置hadoop
(1)編輯conf/hadoop-env.sh,修改JAVA_HOME的值:
export JAVA_HOME=/opt/jdk1.6.0_45
(2)編輯conf/mapred-site.xml,新增內容:
<property>
    <name>mapred.job.tracker</name>
        <value>http://localhost:9001</value>
</property>
(3)編輯conf/hdfs-site.xml,新增內容:
<property>
        <name>dfs.name.dir</name>
        <value>/home/simon/name</value>
</property>

<property>
        <name>dfs.data.dir</name>
        <value>/home/simon/data</value>
</property>
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
(4)編輯conf/core-site.xml,新增內容:
<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化hdfs: bin/hadoop namenode -format
啟動hadoop: bin/start-all.sh
如果顯示沒有許可權,可能是檔案無許可權,或者檔案到使用者不是目前使用者(root)
可以嘗試 chmod +x 檔案名稱
chown root:root bin/*
-------------------配置eclipse外掛程式---------------
1.將hadoop-eclipse-plugin-1.0.0.jar複製到eclipse目錄下到plugins檔案夾下
2.開啟eclipse
window-showview-other... 對話方塊中選擇MapReduce Tools - Map/Reduce Locations
如果對話方塊中沒有,則:%eclispe_dir%/configration/config.ini檔案,發現裡面有一項org.eclipse.update.reconcile=false配置,改成true後重新進入eclipse
3.在Project Explorer中就可以看到DFS Locations了,如果可以向下點開幾個檔案夾,說明配置成功

啟動eclipse:
env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse啟動eclipse,注意等號和eclipse路徑之間有個空格

------------------運行java程式--------------------
1.配置輸入輸出到路徑
在程式中右擊--Run As--Run Configurations..--Argument
裡填入
hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output
中間用空格間隔,分別為輸入輸出到路徑
2.匯入hadoop中到jar包,右擊項目--Properties--左邊選Java Build Path--右邊選Libraries--右邊點擊Add External JARs...
在hadoop/lib/ 這個路徑中選需要到jar包,如果不知道選哪個,那就全選!~(無奈)
3.在程式中右擊--Run As--Run on hadoop 運行程式
相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.