hadoop2.7.2 window win7 基礎環境搭建

標籤：

hadoop環境搭建相對麻煩，需要安裝虛擬機器過著cygwin什麼的，所以通過查資料和摸索，在window上搭建了一個，不需要虛擬機器和cygwin依賴，相對簡便很多。

下面運行步驟除了設定檔有部分改動，其他都是參照hadoop下載解壓的share/doc/index.html。

hadoop下載：http://apache.opencas.org/hadoop/common/

解壓至無空格目錄下即可，下面是目錄結構：

下面配置windows環境：

Java JDK ：我採用的是1.8的，配置JAVA_HOME，如果預設安裝，會安裝在C:\Program Files\Java\jdk1.8.0_51。此目錄存在空格，啟動hadoop時將報錯，JAVA_HOME is incorrect ...此時需要將環境變數JAVA_HOME值修改為：C:\Progra~1\Java\jdk1.8.0_51，Program Files可以有Progra~代替。

Hadoop 環境變數： 建立HADOOP_HOME，指向hadoop解壓目錄，如：D:/hadoop。path環境變數中增加：%HADOOP_HOME%\bin;。

Hadoop 依賴庫：winutils相關，hadoop在windows上運行需要winutils支援和hadoop.dll等檔案，：http://download.csdn.net/detail/fly_leopard/9503059

注意hadoop.dll等檔案不要與hadoop衝突。為了不出現依賴性錯誤可以將hadoop.dll放到c:/windows/System32下一份。

hadoop環境測試：

起一個cmd視窗，起到hadoop/bin下，hadoop version，顯示如下：

hadoop基本檔案配置：hadoop設定檔位於：hadoop/etc/hadoop下

core-site.xml/hdfs-site.xml/mapred-site.xml/yarn-site.xml

core-site.xml:

<configuration>

   <property>

       <name>fs.defaultFS</name>

       <value>hdfs://localhost:9000</value>

   </property>

</configuration>

hdfs-site.xml:

 

<configuration>

       <property>

               <name>dfs.replication</name>

                <value>1</value>

       </property>

       <property>

                <name>dfs.namenode.name.dir</name>

               <value>file:/hadoop/hadoop272/data/dfs/namenode</value>

       </property>

       <property>

               <name>dfs.datanode.data.dir</name>

               <value>file:/hadoop/hadoop272/data/dfs/datanode</value>

       </property>

</configuration>

mapred-site.xml:

<configuration>

       <property>

          <name>mapreduce.framework.name</name>

          <value>yarn</value>

       </property>

</configuration>

yarn-site.xml:

<configuration>

       <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

       </property>

       <property>

          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

          <value>org.apache.hadoop.mapred.ShuffleHandler</value>

       </property>

</configuration>

格式化系統檔案：

hadoop/bin下執行 hdfs namenode -format

待執行完畢即可，不要重複format容易出現異常。

格式化完成後到hadoop/sbin下執行 start-dfs啟動hadoop

訪問：http://localhost:50070

建立目錄：用於輸入和輸出，linux上是/user/使用者名稱/xx windows上可能沒具體要求，我建立也是按照liunx目錄方式的。參照的api doc上面

建立完成可以通過hdfs dfs-ls 目錄名稱查看，也可以在瀏覽器中查看建立的目錄或檔案

input輸入檔案到目錄：login_weibo2是我自己建立的文字檔，位於hadoop一個盤的。此處是D:/hadoop/login_weibo2

如果瞭解命令參數輸入hdfs dfs斷行符號查看dfs命令參數 。hdfs dfs -put斷行符號查看put相關參數。其他命令也是這樣。

查看input輸入的檔案內容：

運行hadoop給的examples，做個參考，運行下面命令等待執行完成。hadoop jar jar檔案位置 grep 輸入目錄(包含被處理檔案的目錄)  輸出目錄(運行結果輸出目錄)

然後查看檔案夾下多了些東西，就是運行結果輸出目錄，結果般存在part-r-xxxx裡面。

在hadoop/sbin下啟動start-yarn，訪問http://localhost:8088可查看 資源、節點管理

剛接觸hadoop，什麼都不是很瞭解，不對地方歡迎指正。

hadoop2.7.2 window win7 基礎環境搭建