在centos 6.5 x64中安裝 spark-1.5.1

標籤：

以下內容參考：http://blog.csdn.net/lovehuangjiaju/article/details/484947371.解壓安裝檔案，設定環境變數這裡我們使用的安裝檔案是已經編譯好的spark，需要搭配hadoop-2.6.0使用。下載連結是：http://pan.baidu.com/s/1gdnW5mr解壓安裝檔案至/cloud目錄設定spark的環境變數：export SPARK_HOME=/cloud/spark-1.5.1export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin2.設定相關設定檔（1）spark-env.shcd /cloud/spark-1.5.1/confcp spark-env.sh.template spark-env.shvi spark-env.sh在該檔案中加入以下start-master.sh內容：export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64export SCALA_HOME=/cloud/scala-2.10.6export HADOOP_CONF_DIR=/cloud/hadoop-2.6.0/etc/hadoop（2）slavescp slaves.template slaves slaves檔案指明worker在哪些主機上運行在該檔案中添加以下內容masterslave1slave2即worker將在master,slave1,slave2上運行。（3）因為storm web-ui已經佔用了8080連接埠，需要更改spark連接埠，這裡我們更改為8888cd ../sbinvi start-master.sh修改後的連接埠號碼如下：if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then  SPARK_MASTER_WEBUI_PORT= 8888fi3.分發安裝檔案cd /cloudscp -r spark-1.5.1/ [email protected]:/cloudscp -r spark-1.5.1/ [email protected]:/cloud4.啟動spark叢集（注意要先啟動hadoop叢集）cd /cloud/spark-1.5.1/sbin./start-all.shmaster 進程情況：slave1和slave2進程情況：5.測試叢集工作是否正常（1）訪問spark master web_uihttp://master:8888
(2)運行spark版WordCount①首先將spark的介紹檔案提交到hdfscd /cloud/spark-1.5.1hdfs dfs -put README.md②啟動spark-shellcd bin./spark-shell②統計hdfs中README.md檔案中文本行中包含單詞Spark的數目val textCount = sc.textFile("README.md").filter(line => line.contains("Spark")).count()可見，spark已經安裝成功，運行無誤。

來自為知筆記(Wiz)

在centos 6.5 x64中安裝 spark-1.5.1