Spark1.0.0 分布式環境搭建

標籤：style   class   blog   code   java   http   

 

軟體版本如下：

Hostname	IP	Hadoop版本	Hadoop	功能	系統
master	192.168.119.128	1.1.2	namenode	jdk1.6+hadoop+scala2.9.3+spark1.0.0	centos4.9
slave1	192.168.119.129	1.1.2	datanode	jdk1.6+hadoop+scala2.9.3+spark1.0.0	centos4.9
slave2	192.168.119.130	1.1.2	datanode	jdk1.6+hadoop+scala2.9.3+spark1.0.0	centos4.9

 

 

1 首先搭建hadoop環境，這裡不詳細說，網上很多。

2 然後安裝scala環境，很簡單和配置jdk類似

  2.1  下載scala 安裝包 2.9.3

  http://www.scala-lang.org/download/2.9.3.html#Software_Requirements

  2.2 下載的 scala-2.9.3.tgz ftp 到master機

目錄為  /home/bigdata/

  2.3  進入目錄  /home/bigdata/

      tar -zxf scala-2.9.3.tgz

      mv  scala-2.9.3  scala 

    /home/bigdata/scala   (配置目錄)

  2.4 配置環境變數（分別到3台機器配置）  

    vi  /etc/profile

   export SCALA_HOME=/home/bigdata/scala

   export PATH=$PATH:$SCALA_HOME/bin

   source /etc/profile

  2.5 檢測是否配置成功

  scala -version

  Scala code runner version 2.9.3 -- Copyright 2002-2011, LAMP/EPFL

    表示安裝成功

  2.6  遠程複製到其它機：（結構目錄和master一致）

   scp -r  /home/bigdata/scala  [email protected]:/home/bigdata/

   scp -r  /home/bigdata/scala  [email protected]:/home/bigdata/

3 配置spark

 

  3. 1 下載spark 1.0.0   http://spark.apache.org/downloads.html

  3.2  複製包到 spark-1.0.0-bin-hadoop1.tgz 中

      目錄為：/home/bigdata/

  3.3  進入目錄 /home/bigdata/

     tar -zxf spark-1.0.0-bin-hadoop1.tgz

     mv  spark-1.0.0-bin-hadoop1  spark-hadoop1

     得到  /home/bigdata/spark-hadoop1 (配置路徑)

     

   

  3.4   配置使用者環境變數 （分別配置3台機器）

   vi  ~/.bash_profile

   export SPARK_HOME=/home/bigdata/spark-hadoop1

   export PATH=$PATH:$SPARK_HOME/bin

   source ~/.bash_profile

   3.5 在conf 中設定scala 

   cd  /home/bigdata/spark-hadoop1/conf

   cp spark-env.sh.template spark-env.sh

   vi  spark-env.sh

   添加 

   export JAVA_HOME=/home/bigdata/jdk（Jdk安裝路徑）

   export SCALA_HOME=/home/bigdata/scala(scala 安裝路徑)

   3.6 複製到其它機器

  scp -r /home/bigdata/spark-hadoop1 [email protected]:/home/bigdata/

  scp -r /home/bigdata/spark-hadoop1 [email protected]:/home/bigdata/

4 啟動hadoop叢集 

5 啟動spark 叢集

  在master 機進入目錄 /home/bigdata/spark-hadoop1/sbin

   sh start-all.sh  

 jps

5704 DataNode

6021 TaskTracker

5587 NameNode

5898 JobTracker

5810 SecondaryNameNode

6374 Worker

6457 Jps

6239 Master

6 啟動web訪問頁面  http://master:8080/

 進入 /home/bigdatat//spark-hadoop1/bin/     spark-shell

  參考：點擊開啟連結