windows下搭建hadoop-2.6.0本地idea開發環境

標籤：hadoop   windows   cygwin   idea   

概述

本文記錄windows下hadoop本地開發環境的搭建：

OS：windowshadoop運行模式：獨立模式

安裝包結構：

Hadoop-2.6.0-Windows.zip    - cygwinInstall // cygwin離線安裝包    - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安裝包

PS:

hadoop-2.6.0-windows.tar.gz是基於官方發行包hadoop-2.6.0.tar.gz，並為windows單機測試而自訂的包，改動如下：1. 在bin目錄下，添加了hadoop.dll和winutils.exe2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源碼第558行*由於源碼有改動，此包不能用於生產環境，只限於windows環境下的開發測試

1. 安裝cygwin

1. 雙擊cygwinInstall下的setup-x86_64.exe

2. 選擇從本地安裝

3. 選擇安裝位置

4. 選擇本地安裝檔案位置

5. 點擊All旁邊的default，使其變為Install，再點擊下一步即可開始安裝

2. 安裝hadoop

1. 在cygwin的根目錄下，建立opt目錄，並把安裝包拷貝到opt目錄下

   cd /; mkdir opt

2. 解壓

   cd /opt; tar xzf hadoop-2.6.0-windows.tar.gz

3. 設定環境變數

   設定windows環境變數HADOOP_PREFIX指向hadoop安裝目錄

   設定windows環境變數HADOOP_HOME指向hadoop安裝目錄

   設定windows環境變數JAVA_HOME指向java安裝目錄

   Path環境變數後追加：;%HADOOP_HOME%\bin

4. ~/.bashrc中設定以下環境變數：

   export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH

5. 使~/.bashrc生效，並驗證hadoop是否工作

   source ~/.bashrc

   驗證hadoop：

   hadoop version

   若正常顯示版本資訊則安裝成功
   

6. 運行範例程式碼，驗證hadoop是否能夠運行mapreduce

   cd /opt/hadoop-2.6.0; mkdir input; cd input; echo "Hello World" > test

   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

   若正常執行則顯示：
   

   在/opt/hadoop-2.6.0/output下會產生part-r-00000檔案，包含以下內容：

   Hello   1world   1

3. idea開發環境配置

1. 建立一個mapreduce項目

2. 選擇項目，按下F12，添加外部依賴

3. 添加HADOOP_HOME下必要的jar包

4. 進入回合組態

5. 配置運行參數

   Working directory設定為hadoop安裝目錄

   並設定輸入參數

6. 調試

   和普通java程式一樣打斷點進行調試

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

windows下搭建hadoop-2.6.0本地idea開發環境