windows下運行hadoop2.7.2

標籤：esc   bin   etc   dll   設定檔   val   form   成功   ack   

1.下載hadoop-2.7.2.tar.gz

2.解壓到D:\hadoop\

3.配置HADOOP_HOME環境變數

4.將%HADOOP_HOME%\bin目錄添加到path環境變數中

5.配置JAVA_HOME環境變數，注意路徑不要帶空格

6.下載hadoop-common-bin工具包(注意和hadoop的版本要對應，否則執行hdfs命令時可能會報錯)，將bin目錄下的winutils.exe、hadoop.dll等全部拷到HADOOP_HOME\bin目錄下並替換掉同名檔案

7.配置hadoop設定檔(hadoop/etc/hadoop/目錄下)

a. core-site.xml

<configuration>
　　<property>
       <name>hadoop.tmp.dir</name>
       <value>file:/hadoop/hadoop272/tmp</value>
　　　　<description>Abase for other temporary directories.</description>
   </property>
　　<property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>

 

b. hdfs-site.xml

<configuration>  <property>    <name>dfs.permissions</name>    <value>false</value>  </property>  <property>    <name>dfs.replication</name>    <value>1</value>  </property>  <property>    <name>dfs.namenode.name.dir</name>    <value>file:/hadoop/hadoop272/data/dfs/namenode</value>  </property>  <property>    <name>dfs.datanode.data.dir</name>    <value>file:/hadoop/hadoop272/data/dfs/datanode</value>  </property> </configuration>

 

c. maprd-site.xml

<configuration>  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property></configuration>

 

d. yarn-site.xml

<configuration>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>  <property>    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property></configuration>

8.格式化hdfs: 在bin目錄下執行: hdfs namenode –format

9.啟動hadoop: 在sbin目錄下執行: start-all.cmd

10. 查看進程是否啟動成功：jps

　　

 

11.訪問:

　　hdfs: http://localhost:50070

　　yarn: http://localhost:8088/

12.建立目錄: 在bin目錄下執行hdfs dfs –mkdir /user (或: hadoop fs –mkdir /user)

13.查看目錄： 在bin目錄下執行：hdfs dfs -ls /user

14.建立檔案: 在bin目錄下執行： hdfs dfs –put test.txt /user/

15.查看檔案：在bin目錄下執行：hdfs dfs –cat /user/test.txt

windows下運行hadoop2.7.2