Linux下安裝Hadoop(偽分布模式)

Linux下安裝Hadoop(偽分布模式) 寫在前面：在Linux下安裝Hadoop時，應注意許可權問題，將hadoop的許可權賦給非root使用者。本文中未涉及如何在Linux下建立新使用者。 第一步，安裝JDK1. 下載 java.sun.com2. 解壓tar.gz的檔案tar -xzvf jdk-7u17-linux-x64.tar.gz3. 把解壓出來的檔案夾移動到/usr/local/jdk-1.7目錄mv /usr/local/src/jdk1.7.0_17 /usr/local/jdk-1.74. 修改profilevi /etc/profile在最後追加export JAVA_HOME=/usr/local/jdk1.7.0_17export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin5. 使環境變數生效source /etc/profile6. 查看當前jdkupdate-alternatives --display java7. 配置預設jdkupdate-alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_17/bin/java 300update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.7.0_17/bin/javac 300update-alternatives --install /usr/bin/javap javap /usr/local/jdk1.7.0_17/bin/javap 300update-alternatives --install /usr/bin/javadoc javadoc /usr/local/jdk1.7.0_17/bin/javadoc 300 update-alternatives --config java如果系統中安裝了其他jdk，會提示，選擇jdk78. 測試java -version第二步，安裝SSHD服務ubuntu安裝sshd命令：sudo apt-get install openssh-serverubuntu刪除sshd命令：sudo apt-get remove openssh-server第三步，配置無密登入(應該非root使用者下執行)ssh-keygencd ～/.sshmv id_rsa.pub id_rsa_hadoop.pubtouch authorized_keyscat id_rsa_hadoop.pub >> authorized_keys第四步，下載Hadoop並解壓解壓：tar -zxvf hadoop-1.0.3.tar.gz移動：mv hadoop-1.0.3 /usr/local/hadoop變更檔夾chown -R hadoop.hadoop hadoop建立目錄：mkdir /data /data/hadoop變更檔夾chown -R hadoop.hadoop /data/hadoop第五步，配置Hadoop配置 conf/hadoop-env.sh export JAVA_HOME=/usr/local/jdk-1.7export HADOOP_LOG_DIR=/data/hadoop/logsexport HADOOP_PID_DIR=/data/hadoop/pids修改/etc/profile添加：export HADOOP_PID_DIR=/data/hadoop/pids配置 core-site.xml      fs.default.name             hdfs://master:8020         hadoop.tmp.dir             /data/hadoop/tmp  配置 hdfs-site.xml       dfs.name.dir             /data/hadoop/name       dfs.data.dir             /data/hadoop/data       dfs.replication             2       dfs.permissions             false       hadoop.job.ugi             hadoop,supergroup  配置 mapred-site.xml       mapred.job.tracker             master:8021       mapred.tasktracker.map.tasks.maximum             2       mapred.map.tasks             2       mapred.tasktracker.reduce.tasks.maximum             2       mapred.reduce.tasks          1       mapred.compress.map.output             true       mapred.map.output.compression.codec             com.hadoop.compression.lzo.LzoCodec  第六步，啟動關閉hadoopbin/hadoop namenode -format (只在第一次啟動時需要，用于格式化名稱節點)bin/start-all.sh使用瀏覽器訪問http://localhost:50070和http://localhost:50030查看Hadoop是否啟動成功。bin/stop-all.sh