Spark1.0.0源碼閱讀環境搭建（win7）

標籤：c   style   class   blog   code   java   

準備工作：

jdk-7u51-windows-i586.exe
scala-2.10.3.msi
sbt-0.13.2.msi
spark-1.0.0.tgz

scala-SDK-3.0.3-2.10-win32.win32.x86.zip

1.1. 安裝JDK

安裝jdk-7u51-windows-i586.exe，按預設設定即可。假設安裝至目錄d:\jdk1.7；

安裝結束後，將d:\jdk1.7\bin添加至環境變數PATH中；

1.2. 安裝Scala

安裝scala-2.10.3.msi，按預設設定即可。假設安裝至目錄d:\scala2.10.3；

安裝結束後可以在cmd視窗執行：

 

可以看到安裝的scala版本號碼；

1.3. 安裝sbt

安裝sbt-0.13.2.msi，按預設設定即可。假設安裝至目錄d:\sbt0.13.2；

安裝結束後可以在cmd視窗執行：

 

可以看到安裝的sbt的版本號碼；

1.4. 安裝Scala-SDK

直接解壓scala-SDK-3.0.3-2.10-win32.win32.x86.zip即可。

 

1.5. 為Spark建立eclipse工程檔案

直接解壓spark-1.0.0.tgz，至工程目錄，比如e:\java\spark；

 

在該目錄下面執行sbt，編譯（耗時較長，耐心等待，直至出現提示符）：

 

在該提示符下面執行eclipse命令，產生eclipse工程檔案（這一步耗時更長，耐心等待， 直接再次出現提示符）。

最後開啟Scala-SDK，匯入Spark工程：

 

2. 問題

在1.5步很可能出現連線逾時的問題，如果上外網需要代理，那麼需要修改d:\sbt0.13.2\conf\sbtconfig.txt檔案。增加如下代理設定：

# Set the java args to high

-Xmx512M

-XX:MaxPermSize=256m

-XX:ReservedCodeCacheSize=128m

 

# Set the extra SBT options

-Dsbt.log.format=true

-Dsbt.boot.directory=D:/sbt0.13.2/sbt/boot/

-Dsbt.ivy.home=D:/sbt0.13.2/sbt

 

-Dhttp.proxyHost=*****

-Dhttp.proxyPort=80

-Dhttps.proxyHost=******

-Dhttps.proxyPort=80

注意http和https都要添加。

如果沒有代理還連線逾時，那麼只能多試幾次了，還是能成功的。