python pyspark入門篇

標籤：返回   變數   配置環境   blog   main   run   style   test   lines   

python pyspark入門篇

一.環境介紹：

1.安裝jdk 7以上

2.python 2.7.11

3.IDE pycharm

4.package: spark-1.6.0-bin-hadoop2.6.tar.gz

二.Setup

1.解壓spark-1.6.0-bin-hadoop2.6.tar.gz 到目錄D:\spark-1.6.0-bin-hadoop2.6

2.配置環境變數Path，添加D:\spark-1.6.0-bin-hadoop2.6\bin,此後可以在cmd端輸入pySpark,返回如下則安裝完成：

3.將D:\spark-1.6.0-bin-hadoop2.6\python下的pySpark檔案拷貝到C:\Python27\Lib\site-packages

4.安裝py4j ， pip install py4j -i https://pypi.douban.com/simple

5.配置pychar環境變數：

 

三.Example

1.make a new python file: wordCount.py 

#!/usr/bin/env python# -*- coding: utf-8 -*-import sysfrom pyspark import SparkContextfrom operator import addimport  redef main():    sc = SparkContext(appName= "wordsCount")    lines = sc.textFile(‘words.txt‘)    counts = lines.flatMap(lambda  x: x.split(‘ ‘))                .map( lambda  x : (x, 1))                .reduceByKey(add)    output = counts.collect()    print output    for (word, count) in output:        print "%s: %i" %(word, count)    sc.stop()if __name__ =="__main__":    main()

2.代碼中的words.txt如下：

The dynamic lifestylepeople lead nowadayscauses many reactions in our bodies and the one that is the most frequent of all is the headache

3.給當前運行程式配置spark環境變數：

 3.1 工具列 run --> Edit configuration-->點擊Enviroment variables後面的三個點

     

 

 

  3.2  然後點擊 + ，輸入key：SPARK_HOME， value： D:\spark-1.6.0-bin-hadoop2.6

     

4.輸出結果如：

      

四.深入練習：

1.文檔：http://spark.apache.org/docs/latest/api/python/pyspark.html

2.在解壓的Spark文檔下，有example下有很多執行個體可以練習。D:\spark-1.6.0-bin-hadoop2.6\examples\src\main\python

 

作 者：小閃電 

出處：http://www.cnblogs.com/yueyanyu/ 

本文著作權歸作者和部落格園共有，歡迎轉載、交流，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連結。如果覺得本文對您有益，歡迎點贊、歡迎探討。本部落格來源於互連網的資源，若侵犯到您的權利，請聯絡博主予以刪除。

原文轉自 ：https://www.cnblogs.com/yueyanyu/p/6497956.html

python pyspark入門篇