Windows下搭建Spark+Hadoop開發環境

標籤：dll   複製   nbsp   path   外掛程式   common   windows   cli   blog   

只需要確保您的電腦已裝好Java環境，那麼就可以開始了。

 

一. 準備工作

1. 下載Hadoop2.7.1版本（寫Spark和Hadoop主要是用到了Yarn，因此Hadoop必須安裝）

：http://apache.fayea.com/hadoop/common/hadoop-2.7.1/

下載其中的hadoop-2.7.1.tar.gz並解壓到一個固定目錄作為Hadoop安裝目錄。

2. 下載支援外掛程式

：https://github.com/ShixiangWan/winutils，其中有很多個Hadoop版本，這裡我們以其中的Hadoop2.7.1穩定版為例。

下載後將Hadoop2.7.1的bin中的檔案覆蓋拷貝至上述的安裝目錄的bin下。

3. 覆蓋hadoop.dll

將外掛程式bin目錄下的hadoop.dll複製到C:\Window\System32下。

 

二. 環境變數配置

1. 增加環境變數HADOOP_HOME，指向Hadoop安裝根目錄；

2. 在Path變數中添加%HADOOP_HOME%\bin；

3. 重啟Eclipse或Intellij，直接運行Spark或Hadoop的Maven項目即可。

 

參考資料：

http://blog.csdn.net/shenshendeai/article/details/57962167

 

Windows下搭建Spark+Hadoop開發環境