在zepplin 使用spark SQL 查詢mongodb的資料

標籤：export   後台   技術分享   class   use   not   mongod   data   地址   

 1.下載zepplin

進入官網 ,下載完整tar包.

 

2.解壓

tar zxvf zeppelin-0.7.3.tgz

3.修改配置

建立設定檔

cp zeppelin-env.sh.template zeppelin-env.sh

修改設定檔

vi zeppelin-env.sh

# 設定java home 路徑

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-1.b16.el7_3.x86_64/jre

# 設定spark master 地址

export MASTER=spark://10.100.12.16:7077

# 設定spark home 路徑

export SPARK_HOME=/opt/spark/

# 設定spark mongodb connector, 注意：這裡用的是2.2.2版本

export SPARK_SUBMIT_OPTIONS="--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.2"

 

4.啟動zepplin

bin/zeppelin-daemon.sh start

5.用瀏覽器進入zepplin後台:http://localhost:8080

 

6.點擊notebook,建立查詢.

 

7.寫scala 查詢代碼

import com.mongodb.spark.config.ReadConfigimport com.mongodb.spark.sql._val config = sqlContext.sparkContext.getConf.set("spark.mongodb.keep_alive_ms", "15000").set("spark.mongodb.input.uri", "mongodb://10.100.12.14:27017").set("spark.mongodb.input.database", "bi").set("spark.mongodb.input.collection", "userGroupMapping")val readConfig = ReadConfig(config)val objUserGroupMapping = sqlContext.read.format("com.mongodb.spark.sql").mongo(readConfig)objUserGroupMapping.printSchema()val tbUserGroupMapping=objUserGroupMapping.toDF()tbUserGroupMapping.registerTempTable("userGroupMapping")

8.返回查詢結果

 

在zepplin 使用spark SQL 查詢mongodb的資料