CentOS7 從零搭建Spark 2.0 單機環境

序言 配置網路環境 更新安裝基礎軟體 安裝Spark 20 單機模式下運行

序言

預先以Minimal方式在VMVare虛擬機器內安裝 CentOS7。 配置網路環境 獲得網路設定資訊。VMWare: 編輯->虛擬網路編輯器->VMnet資訊->NAT 設定。 記下 子網IP, 子網路遮罩，網管IP資訊。
編輯CentOS網路設定檔。

vm /etc/sysconfig/network-scripts/ifcfg-eno16777736

移除rule 檔案
shell
rm /etc/udev/rules.d/70-persistent-net.rules
修改主機名稱

hostname hangzhi
vi /etc/hostname #替換localhost.localdomian 為hangzhi
vi /etc/hosts #替換localhost.localdomian 為hangzhi
重啟虛擬機器

reboot
更新/安裝基礎軟體

更新yum.

yum upgrade

Install tools

yum install weget

安裝Spark 2.0

安裝配置OpenSDK

安裝Java

sudo yum install java-1.8.0-openjdk-devel.x86_64

配置環境變數

vim /etc/profile#在檔案末尾位置加入以下代碼export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el7_2.x86_64 #路徑可能因jdk版本不同而有所差異export JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/bin#注意冒號export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

載入環境變數配置

source /etc/profile

安裝配置scala

下載並解壓scala 2.11.8

http://www.scala-lang.org/files/archive/scala-2.11.8.tgztar -zxf scala-2.11.8.tgzmv scala-2.11.8 /usr/lib

配置環境變數

vim /etc/profile# 在檔案末尾位置加入以下代碼export SCALA_HOME=/usr/lib/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin

載入環境變數配置

source /etc/profile

下載並配置 spark 2.0 下載Spark 2.0

cd ~wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgztar -zxf spark-2.0.0-bin-hadoop2.7.tgz

配置環境變數

    vim /etc/profile    # 在檔案末尾位置加入以下代碼    export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7

單機模式下運行

 cd $SPARK_HOME ./bin/run-example SparkPi

引用：
http://www.scala-lang.org/
http://spark.apache.org/
http://www.tuicool.com/articles/Vza63m
http://shiyanjun.cn/archives/696.html