Windows上安裝運行hadoop

標籤：訪問   運行命令   技術分享   oca   jdk1.8   圖片   info   nbsp   details   

 0.自己編譯安裝步驟在這裡，有英文版本串連：《英文傳送門》。

自己編譯嘗試後不成功，換為下面使用別人編譯好的版本的方法。參考部落格：《初學hadoop,windows下安裝》 

 

 

1.下載JDK，並設定JAVA_HOME。(使用不帶空格的路徑，比如Program Files，將在後面的配置中報錯！)

假設JAVA_HOME路徑為C:\Java\jdk1.8.0_73

 

2.下載hadoop。：http://hadoop.apache.org/releases.html

這裡下載使用的是2.8.3的二進位版本檔案,解壓到d:/hadoop-2.8.3

 

3.下載winutils。這個是別人編譯好的hadoop的windows版本二進位檔案，不需要我們自己進行編譯。下載下來然後將hadoop-2.8.3進行！覆蓋！即可。

：https://github.com/steveloughran/winutils

 

 

4.在路徑D:\hadoop-2.8.3\etc\hadoop下修改檔案

①core.site.xml（配置預設hdfs的訪問連接埠）

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property>    </configuration>

②hdfs-site.xml（設定複製數為1，即不進行複製。namenode檔案路徑以及datanode資料路徑。）

<configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>            <name>dfs.namenode.name.dir</name>            <value>file:/hadoop/data/dfs/namenode</value>        </property>        <property>            <name>dfs.datanode.data.dir</name>            <value>file:/hadoop/data/dfs/datanode</value>      </property></configuration>

③將mapred-site.xml.template 名稱修改為 mapred-site.xml 後再修改內容（設定mr使用的架構，這裡使用yarn）

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

④yarn-site.xml（這裡yarn設定使用了mr混洗）

<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>    <property>        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property></configuration>

⑤hadoop-env.cmd

設定JAVA_HOME的值(如果這裡使用了帶空格的Program Files路徑將會報錯！)

set JAVA_HOME=C:\Java\jdk1.8.0_73

 

6.進入D:\hadoop-2.8.3\bin目錄，格式化hdfs

在cmd中運行命令 hdfs namenode -format

 

7.進入D:\hadoop-2.8.3\sbin目錄

在cmd中運行命令start-all.cmd

 

8.在瀏覽器地址欄中輸入：http://localhost:8088查看叢集狀態。

 

 

9.在瀏覽器地址欄中輸入：http://localhost:50070查看Hadoop狀態。

以上。

 

 

 

Windows上安裝運行hadoop