第一個在Python 環境中開發的Spark應用樣本

標籤：

# -*- coding:utf-8 -*-‘‘‘1, 從網站上下載spark2, py4j和pyspark這兩個庫放到Python環境中，‘‘‘import osos.environ[‘SPARK_HOME‘] = r‘E:\Dev\spark-1.4.0-bin-hadoop2.6‘from pyspark import SparkContext, SparkConfappName ="jhl_spark_1" #你的應用程式名稱#Master URLs， 參見http://spark.apache.org/docs/latest/submitting-applications.html#master-urlsmaster= "local" conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)data = [1, 2, 3, 4, 5]distData = sc.parallelize(data)res = distData.reduce(lambda a, b: a + b)print (res)

第一個在Python 環境中開發的Spark應用樣本