Windows下基於eclipse的Spark應用開發環境搭建

標籤：des   cWeb   cPage   style   blog   http   

原創文章，轉載請註明： 轉載自www.cnblogs.com/tovin/p/3822985.html

 

一、軟體下載

　　maven下載安裝 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip
       jdk下載安裝：
        　　http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe（32位）
        　　http://10.100.209.243/share/soft/jdk-7u60-windows-x64.exe（64位）
    　eclipse下載安裝：    

　　http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r     elease/kepler/SR2/eclipse-jee-kepler-SR2-win32.zip（32位）
　　http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r    elease/kepler/SR2/eclipse-jee-kepler-SR2-win32-x86_64.zip（64位）   

　　scala下載安裝：http://www.scala-lang.org/files/archive/scala-2.10.4.msi

　　

 

二、環境變數配置

　　JAVA_HOME=C:\Program Files\Java\jdk1.7.0_17
    　M2_HOME=D:\soft\apache-maven-3.2.1
    　SCALA_HOME=D:\soft\scala-2.10
    　PATH=%PATH%;%JAVA_HOME%\bin;%M2_HOME%\bin;%SCALA_HOME%\bin   

　　

三、Eclipse配置

　　1、eclipse scala外掛程式安裝    
    　　　在Eclipse中，依次選擇“Help” –> “Eclipse Marketplace”，輸入scala安裝Scala IDE

　　　　

 

　　2、eclipse配置jdk   

　　　　進入Window->Preferences配置jdk

　　　　

 

　　3、eclipse配置maven

　　　　   

 

四、Spark應用開發

　　1、建立maven工程

　　　　

　　2、修改pom.xml添加依賴包

　　　　

　　　　注意：如果有依賴除hadoop、spark之外的包，打包時需要把依賴包也加進去。為了將依賴包加入，需要在pom.xml中加入如下內容　　

　　　

　　3、轉成java工程（方便使用Spark Java API進行開發）

　　

　　4、編寫代碼編譯、打包    
   　　 工程點右鍵選擇分別執行Maven clean、Maven install，至此在工程項目下target目錄會有目標jar包產生

　　　　

 

　　5、運行Spark應用   

　　　　上傳編譯好的jar包至spark叢集client，執行以下命令運行程式   
    　　　/usr/local/spark/bin/spark-submit  --class YourMainClass --master yarn-cluster YourJarPath
　　　　YourMainClass：main函數類名
    　　　YourJarPath：jar包絕對路徑

 

 

原創文章，轉載請註明： 轉載自www.cnblogs.com/tovin/p/3822985.html