windows 下安裝和運行 hadoop

標籤：一個   oop   jdk   system   conf   ado   apache   reduce   orm   

windows下安裝hadoop，直接去官網採用簡單暴力的方法：

1、下載hadoop的安裝包：http://hadoop.apache.org/->左邊點Releases->點mirror site->點http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->下載hadoop-2.9.0.tar.gz；

2、解壓安裝包：將下載包解壓到指定目錄，並添加環境變數；解壓出來一個目錄：D:\hadoop-2.9.0，將bin路徑配置到環境變數中。然後http://download.csdn.net/detail/wuxun1997/9841472下載相關工具類，直接解壓後把檔案丟到D:\hadoop-2.9.0\bin目錄中去，將其中的hadoop.dll在c:/windows/System32下也丟一份；

3、去D:\hadoop-2.9.0\etc\hadoop找到下面4個檔案並按如下最小配置粘貼上去：

core.site.xml

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property>    </configuration>

hdfs-site.xml

<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>            <name>dfs.namenode.name.dir</name>            <value>file:/hadoop/data/dfs/namenode</value>        </property>        <property>            <name>dfs.datanode.data.dir</name>            <value>file:/hadoop/data/dfs/datanode</value>      </property></configuration>

mapred-site.xml

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

yarn-site.xml

<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>    <property>        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property></configuration>

4、接下來處理一個環境變數的問題，進入到etc\hadoop目錄下，編輯hadoop-env.cmd  修改JAVA_HOME目錄為你自己的jdk的路徑；注意，如果路徑中安裝在Program Files目錄下，名稱用\PROGRA~1\，否則中間的空格會導致路徑失效。

5、進入到bin目錄，運行hdfs namenode -format

6、進入sbin目錄：start-all.cmd

windows 下安裝和運行 hadoop