學習隨筆 pyspark JDBC 操作oracle資料庫

標籤：park   cond   reduce   coding   register   sys   oracle資料庫   red   pandas   

# -*- coding:utf-8 -*-from pyspark import SparkContext, SparkConffrom pyspark.sql import SQLContextimport numpy as npappName = "jhl_spark_1"  # 你的應用程式名稱master = "local"  # 設定單機conf = SparkConf().setAppName(appName).setMaster(master)  # 配置SparkContextsc = SparkContext(conf=conf)sqlContext = SQLContext(sc)url=‘jdbc:oracle:thin:@127.0.0.1:1521:ORCL‘tablename=‘V_JSJQZ‘properties={"user": "Xho", "password": "sys"}df=sqlContext.read.jdbc(url=url,table=tablename,properties=properties)#df=sqlContext.read.format("jdbc").option("url",url).option("dbtable",tablename).option("user","Xho").option("password","sys").load()#註冊為表，然後在SQL語句中使用df.registerTempTable("v_jsjqz")#SQL可以在登入為表的RDDS上運行df2=sqlContext.sql("select ZBLX,BS,JS,JG from v_jsjqz t order by ZBLX,BS")list_data=df2.toPandas()# 轉換格式toDataFramelist_data = list_data.dropna()# 清洗操作，去除有空值的資料list_data = np.array(list_data).tolist()#tolistRDDv1=sc.parallelize(list_data)#並行化資料，轉化為RDDRDDv2=RDDv1.map(lambda x:(x[0]+‘^‘+x[1],[[float(x[2]),float(x[3])]]))RDDv3=RDDv2.reduceByKey(lambda a,b:a+b)sc.stop()

 這裡的 pyspark 是spark安裝的檔案夾裡python檔案夾下的，需要複製到anoconda的Lib下site-packages中

代碼中沒有環境變數的配置，不願意在本機配置環境變數的可以去查查spark在python中環境變數配置

學習隨筆 pyspark JDBC 操作oracle資料庫