spark1.3的部署

標籤：

1、下載源碼，根據自己的環境編譯，我這裡下載的是spark1.3版本

本人採用sbt編譯，

SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=ture sbt/sbt assembly

 這句代碼共有兩個參數，第一個是指原生hadoop環境的版本，第二個參數是指是否在yarn上運行，

2、編譯完成後會產生make-distribution.sh檔案3、然後我們需要將產生的部署套件部署在叢集上

　　這裡有幾個參數說明一下：

　　--hadoop VERSION ：hadoop版本號碼

　　--with-yarn：是否支援yarn，不加參數時預設不支援

　　--with-hive：是否在spark SQL 中支援hive，預設不支援

      還有其它一些參數，這裡不一一列舉了，常用的就上面幾個

（1）現在我們產生支援hadoop 2.5.2、支援yarn的部署套件

./make-distribution.sh --hadoop 2.5.2 --with-yarn --tgz

（2）現在我們產生支援hadoop 2.5.2、支援yarn、支援hive的部署套件

./make-distribution.sh --hadoop 2.5.2 --with-yarn --with-hive --tgz

執行命令後，會產生spark-1.3.0-bin-2.5.2.tgz的部署套件

 

spark1.3的部署