標籤:style class java http tar ext
接觸hadoop第二天,配置hadoop到環境也用了兩天,將自己配置的過程寫在這裡,希望對大家有所協助!
我將文中用到的所有資源都分享到了 這裡,點開就能下載,不需要一個個的找啦!
其中有《Hadoop 技術內幕》這本書,第一章講述了這個配置過程,但是不詳細~
---------------安裝jdk-------------------------------
1.
下載jdk1.6.0_45
2.解壓到opt檔案夾下,配置/etc/profile,在檔案尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
3.然後用source /etc/profile來重新執行剛修改的初始設定檔案(profile)
4.配置預設程式
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
然後執行以下代碼選擇我安裝到jdk版本:
update-alternatives --config java
5.之後就可以用java -version來查看java的版本了
---------------安裝eclipse-------------------------------
1.從官網下載java版到eclipse
http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
2.解壓到/home/simon檔案夾下
3.用vi建立shell指令碼命名為eclipse
vi /usr/local/bin/eclipse
內容如下:
/home/simon/eclipse/eclipse
4.為指令碼eclipse添加可執行許可權: chmod +x /usr/local/bin/eclipse
5.直接輸入eclipse來啟動它了
---------------安裝ant-------------------------------
1.下載ant
http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
2.解壓複製到/home/simon 檔案夾下
3.修改/etc/profile 檔案
export ANT_HOME=/home/simon/apache-ant-1.9.4
export PATH=$PATH$:$ANT_HOME/bin
4.然後用source /etc/profile來重新執行剛修改
5.輸入ant -version驗證安裝成功
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
---------------安裝hadoop-------------------------------
1.修改機器名稱,編輯/etc/hostname 修改為localhost
2.配置ssh無密碼登入
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3.如果命令 ssh localhost不成功,則需要啟動ssh服務
通過以下命令啟動ssh服務
service ssh start
/etc/init.d/ssh start
如果還是啟動失敗,那就重啟吧,管用
3.配置hadoop
(1)編輯conf/hadoop-env.sh,修改JAVA_HOME的值:
export JAVA_HOME=/opt/jdk1.6.0_45
(2)編輯conf/mapred-site.xml,新增內容:
<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>
(3)編輯conf/hdfs-site.xml,新增內容:
<property>
<name>dfs.name.dir</name>
<value>/home/simon/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/simon/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)編輯conf/core-site.xml,新增內容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化hdfs: bin/hadoop namenode -format
啟動hadoop: bin/start-all.sh
如果顯示沒有許可權,可能是檔案無許可權,或者檔案到使用者不是目前使用者(root)
可以嘗試 chmod +x 檔案名稱
chown root:root bin/*
-------------------配置eclipse外掛程式---------------
1.將hadoop-eclipse-plugin-1.0.0.jar複製到eclipse目錄下到plugins檔案夾下
2.開啟eclipse
window-showview-other... 對話方塊中選擇MapReduce Tools - Map/Reduce Locations
如果對話方塊中沒有,則:%eclispe_dir%/configration/config.ini檔案,發現裡面有一項org.eclipse.update.reconcile=false配置,改成true後重新進入eclipse
3.在Project Explorer中就可以看到DFS Locations了,如果可以向下點開幾個檔案夾,說明配置成功
啟動eclipse:
env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse啟動eclipse,注意等號和eclipse路徑之間有個空格
------------------運行java程式--------------------
1.配置輸入輸出到路徑
在程式中右擊--Run As--Run Configurations..--Argument
裡填入
hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output
中間用空格間隔,分別為輸入輸出到路徑
2.匯入hadoop中到jar包,右擊項目--Properties--左邊選Java Build Path--右邊選Libraries--右邊點擊Add External JARs...
在hadoop/lib/ 這個路徑中選需要到jar包,如果不知道選哪個,那就全選!~(無奈)
3.在程式中右擊--Run As--Run on hadoop 運行程式