在 Windows 上安裝 Hadoop 教程

標籤：自動   三次   注意   斷行符號   pat   slaves   介面   複製   安裝   

在 Windows 上安裝 Hadoop 教程

一見 2010.1.6 www.hadoopor.com/[email protected]

1. 安裝 JDK

不建議只安裝 JRE，而是建議直接安裝 JDK，因為安裝 JDK 時，可以同時安裝 JRE。 MapReduce 程式的編寫和 Hadoop 的編譯都依賴於 JDK，光 JRE 是不夠的。

JRE ：http://www.java.com/zh_CN/download/manual.jsp

JDK ：http://java.sun.com/javase/downloads/index.jsp，下載 Java SE 即可。

2. 安裝 Cygwin

在安裝 Cygwin 之前，得先下載 Cygwin 安裝程式 setup.exe。

Cygwin 安 裝 程 序 下 載 地 址 ： http://www.cygwin.com/setup.exe ， 當 然 也 可 以 從 http://www.cygwin.cn/setup.exe 下載 Cygwin 安裝程式，不過如果在安裝過程中，遇到如所示的錯誤，則只能從 http://www.cygwin.com/setup.exe 下載，本教程下載的是 Cygwin 1.7.1 版本。

Cygwin 安裝程式 setup.exe 的存放目錄可隨意無要求。當 setup.exe 下載成功後，運行

setup.exe，彈出如所示的對話方塊：

在所示的對話方塊中，直接點擊“下一步”，進入如所示的對話方塊：

在所示的對話方塊中，選擇“Install from Internet”，然後點擊“下一步”，進入如 所示對話方塊：

在所示的對話方塊中，設定 Cygwin 的安裝目錄，Install For 選 擇“All Users”，Default Text File Type 選擇“Unix/binary”，然後點擊“下一步”，進入如所示對話方塊：

在所示的對話方塊中，設定 Cygwin 安裝包存放目錄，然後點擊“下一步”，進入如 所示對話方塊：

在所示的對話方塊中，選擇“Direct Connection”，然後點擊“下一步”，進入如 所示對話方塊：

在所示的對話方塊中，點擊“下一步”，將進入如所示的對話方塊：

在所示的對話方塊過程中，可能會彈出如所示的“Setup Alert”對話方塊，直接點 擊“確定”即可。

進入“Select Packages”對話方塊後，必須保證“Net Category”下的“OpenSSL”被安裝 ， 如所示：

如果還打算在 eclipse 上編譯 Hadoop，則還必須安裝“Base Category”下的“sed”，如 所示：

另外，還建議將“Editors Category”下的 vim 安裝，以方便在 Cygwin 上直接修改配置 文 件 ；“Devel Category”下的 subversion 建議安裝，如所示：

當完成上述操作後，點擊“Select Packages”對話方塊中“下一步”，進入 Cygwin 安裝包 下載過程，如所示：

等待安裝包下載完畢，當下載完後，會自動進入到如所示的對話方塊：

在所示的對話方塊中，選中“Create icon on Desktop”，以方便直接從案頭上啟動 Cygwin，然後點擊“完成”按鈕。至此，Cgywin 已經安裝完，安裝目錄下的內容如所 示：

3. 配置環境變數

需要配置的環境變數包括 PATH 和 JAVA_HOME：JAVA_HOME 指向 JRE 安 裝 目 錄 ；JDK 的 bin 目錄，Cygwin 的 bin 目錄，以及 Cygwin 的 usr\bin 目錄都必須添加到 PATH 環境變數 中，如所示：

4. 安裝 sshd 服務

點擊案頭上的 Cygwin 表徵圖，啟動 Cygwin，執行 ssh-host-config命令，如所示：

在執行 ssh-host-config 時，當要求輸入 yes/no 時，選擇輸入 no，如所示：

如果是 Cygwin 1.7 之前的版本，則 ssh-host-config 顯示介面如所示：

當看到“Have fun”時，一般表示 sshd 服務安裝成功了，如所示。接下來，需要啟 動 sshd 服務。

5. 啟動 sshd 服務

在案頭上的“我的電腦”表徵圖上單擊右鍵，點擊“管理”菜單，進入 Windows 電腦 管理，如所示：

在所示的對話方塊中，選中“CYGWINsshd”，彈出右鍵，並啟動 CYGWIN sshd 服 務，成功後，如所示：

當 CYGWIN sshd 的狀態為“已啟動”後，接下來就是配置 ssh 登入。

6. 配置 ssh 登入

執行 ssh-keygen命令產生密鑰檔案，如所示：

在所示對話方塊中，需要輸入時，直接按斷行符號鍵即可，如果不出錯，應當是需要三次 按斷行符號鍵。接下來產生 authorized_keys檔案，按所示操作即可：

正如所示，只需要兩步操作，即可產生 authorized_keys檔案：

cd ~/..ssh/

cp id_rsa.pub authorized_keys

完成上述操作後，執行 exit命令先退出 Cygwin 視窗，如果不執行這一步操作，下面的 操作可能會遇到錯誤。接下來，重新運行 Cygwin，執行 ssh localhost 命令，在第一次執行 ssh localhost 時，會有如所示的提示，輸入 yes，然後斷行符號即可：

如果是 Windows 域使用者，這步操作可能會遇到問題，錯誤資訊如下：。

這 個 錯 誤 暫 無 解 決 辦 法 ， 問 題 的 解 決 情 況 ， 可 關 注 Hadoop 技 術 論 壇 中 的 貼 ： http://bbs.hadoopor.com/thread-348-1-1.html(Cygwin1.7.1 版本ssh問題)。否則，如果成功， 執行 who 命令時，可以看到如所示的資訊：

至此，配置 ssh 登入成功，下面就可以開始安裝 hadoop 了。

7. 下載 hadoop 安裝包

hadoop 安裝包：

http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz

8. 安裝 hadoop

將 hadoop 安裝包 hadoop-0.20.1.tar.gz 解壓到 D:\hadoop\run 目 錄（ 可以修改成其它目錄） 下，如所示：

接下來，需要修改 hadoop 的設定檔，它們位於 conf 子目錄下，分別是 hadoop-env.sh、 core-site.xml、hdfs-site.xml 和 mapred-site.xml 共四個檔案。在 Cygwin 環 境 ，masters 和 slaves 兩個檔案不需要修改。

? 修改 hadoop-env.sh

只需要將 JAVA_HOME 修改成 JDK 的安裝目錄即可，請注意 JDK 必須是 1.6 或 以上 版本 。

? 修改 core-site.xml

為簡化 core-site.xml 配置，將 D:\hadoop\run\src\core 目錄下的 core-default.xml 檔案複製 到 D:\hadoop\run\conf 目 錄 下 ， 並 將 core-default.xml 文 件 名 改 成 core-site.xml 。 修 改 fs.default.name 的值，如下所示：

中的連接埠號碼 8888，可以改成其它未被佔用的連接埠。

? 修改 hdfs-site.xml

為簡化 hdfs-site.xml 配置，將 D:\hadoop\run\src\hdfs 目錄下的 hdfs-default.xml 檔案複製 到 D:\hadoop\run\conf 目錄下，並將 hdfs-default.xml 檔案名稱改成 hdfs-site.xml。不需要再做其 它修改。

? 修改 mapred-site.xml

為簡化 mapred-site.xml 配置，將 D:\hadoop\run\src\mapred 目錄下的 mapred-default.xml

檔案複製到 D:\hadoop\run\conf 目錄下，並將 mapred-default.xml 檔案名稱改成 mapred-site.xml。

中的連接埠號碼 9999，可以改成其它未被佔用的連接埠。到這裡，hadoop 宣告安裝完畢， 可以開始體驗 hadoop 了！

9. 啟動 hadoop

在 Cygwin 中，進入 hadoop 的 bin 目錄，運行./start-all.sh 啟動 hadoop，在啟動成功之後 ， 可以執行./hadoop fs -ls /命令，查看 hadoop 的根目錄，如所示：

如果運行 mapreduce，請參考其它文檔，本教程的內容到此結束。

在 Windows 上安裝 Hadoop 教程（轉）