windows上搭建hadoop開發環境

標籤：

                                               

                           windows上搭建hadoop開發環境

 

前言

 

Windows下運行Hadoop，通常有兩種方式：一種是用VM方式安裝一個Linux作業系統，這樣基本可以實現全Linux環境的Hadoop運行；另一種是通過Cygwin類比Linux環境。後者的好處是使用比較方便，安裝過程也簡單，本篇文章是介紹第二種方式Cygwin類比Linux環境。

 

準備工作

（1）安裝JDK1.6或更高版本，安裝時注意，最好不要安裝到帶有空格的路徑名下，例如:Programe Files，否則在配置Hadoop的設定檔時會找不到JDK。

（2）hadoop官網下載hadoop http://hadoop.apache.org/releases.html 。

 

 

安裝Cygwin

 

Cygwin是Windows平台下類比Unix環境的工具，需要在安裝Cygwin的基礎上安裝Hadoop，：http://www.cygwin.com/ 根據作業系統的需要下載32位或64的安裝檔案。

 

 

一、雙擊下載好的安裝檔案，點擊下一步進入程式引導安裝頁，這裡有三個選項，選擇第一項網路安裝：

• 網路安裝：通過網路下載並安裝軟體包
• 下載但不安裝：通過網路下載軟體包
• 本地安裝：是用本地軟體包安裝

 

二、選擇install from internet

 

                                                

 

三、選擇安裝路徑
 
三、選擇local Package Directory
 
四、選擇您的Internet串連方式
 
五、選擇合適的安裝源，點擊下一步

 

 

                                              

 

六、這一步比較重要，以下軟體包要確保被安裝：

                                     

 

在Select Packages介面裡，Category展開net，選擇如下openssh和openssl兩項

 

　　

 

如果要在Eclipe上編譯Hadoop，需要安裝Category為Base下的sed

 

　　

如果想在Cygwin上直接修改hadoop的設定檔，可以安裝Editors下的vim

　　

七、點擊“下一步”，等待安裝完成。

 

八、配置環境變數

 

在“我的電腦”上點擊右鍵，選擇菜單中的“屬性"，點擊屬性對話方塊上的進階頁簽，點擊”環境變數"按鈕，在系統變數列表裡雙擊“Path”變數，在變數值後輸入安裝的Cygwin的bin目錄，例如：D:\cygwin64\bin

久、安裝sshd服務

 

雙擊案頭上的Cygwin表徵圖，啟動Cygwin，執行ssh-host-config -y命令，執行後，會提示輸入密碼。

 

 

                                          
 此時輸入密碼和確認密碼，斷行符號。最後出現Host configuration finished.Have fun!表示安裝成功。
 

                                           

 

輸入net start sshd，啟動服務。或者在系統的服務裡找到並啟動Cygwin sshd服務。

安裝hadoop
前面部分在公司電腦操作，以下安裝操作在本機操作，過程不受影響。

   下載hadoop

hadoop官網： http://hadoop.apache.org/releases.html 。

把hadoop壓縮包解壓到/home/使用者名稱 目錄下，檔案夾名稱更改為hadoop，可以不修改，但後邊在執行命令時稍顯麻煩。

 （1）單機模式配置方式

　　單機模式不需要配置，這種方式下，Hadoop被認為是一個單獨的Java進程，這種方式經常用來調試。

 （2）偽分布模式

　　可以把偽分布模式看作是只有一個節點的叢集，在這個叢集中，這個節點既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。

     偽分布模式只需要修改幾個設定檔即可。

 配置hadoop-env.sh，記事本開啟改檔案，設定JAVA_HOME的值為你的JDK安裝路徑，例如：

JAVA_HOME="D:\javatools\jdk1.6.0"

配置core-site.xml

                                 

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property>　　　　<name>fs.default.name</name>　　　　<value>hdfs://localhost:9000</value>　　</property>　　<property>　　　　<name>mapred.child.tmp</name>　　　　<value>/home/u/hadoop/tmp</value>　　</property></configuration>

 配置hdfs-site.xml

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property>　　<name>dfs.replication</name>　　<value>1</value></property></configuration>

 配置mapred-site.xml

<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property>　　　　   <name>mapred.job.tracker</name>　　　　   <value>localhost:9001</value>　　    </property>　　    <property>　　　　   <name>mapred.child.tmp</name>　　　　   <value>/home/u/hadoop/tmp</value>　　    </property></configuration>

    啟動hadoop

開啟Cgywin視窗，執行cd ~/hadoop命令，進入hadoop檔案夾，啟動Hadoop前，需要先格式化Hadoop的檔案系統HDFS，執行命令：bin/hadoop namenode -format，（注意：namenode要小些，否則如果輸入NameNode，會提示錯誤，找不到或無法載入主類NameNode。）如：

                                

輸入命令 bin/start-all.sh，啟動所有進程。

                                

   驗證是否成功安裝

開啟瀏覽器，輸入網址：http://localhost:50030     然後斷行符號，如果能訪問則安裝成功。訪問如下：

  

參考文獻：《Hadoop實戰》

 

windows上搭建hadoop開發環境