pyspark 安裝配置【linux && win】

標籤：代碼   解壓   simple   pypi   自己   bsp   安裝python   com   變數   

一、windows 安裝1、下載spark    spark-2.3.1-bin-hadoop2.7.tgz2、配置spark 環境變數set SPARK_HOME=d:\spark2.3.1set PATH=%SPARK_HOME%\bin;%PATH%3、安裝python的pyspark模組pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple/ 4、下載安裝hadoop 或者 組件1）下載hadoop軟體包，並配置環境變數set HADOOP_HOME=d:\hadoopset PATH=%HADOOP_HOME%\bin;%PATH%2）下載hadoop-common-2.2.0-bin-master.zip（自己百度） 並配置環境變數下載後是檔案名稱是hadoop-common-2.2.0-bin-master.zip,隨便解壓到一個目錄,設定HADOOP_HOME環境變數，指向 d:\hadoop (解壓後的下載檔案), 並將HADOOP_HOME加到系統變數PATH中set HADOOP_HOME=d:\hadoopset PATH=%HADOOP_HOME%\bin;%PATH%二、linux 環境1、下載spark    spark-2.3.1-bin-hadoop2.7.tgz    tar -zxvf  spark-2.3.1-bin-hadoop2.7.tgz2、配置spark 環境變數vi ~/.bash_profile#將以下代碼添加到檔案中export SPARK_HOME=/tools/spark2.3.1export PATH=$SPARK_HOME/bin:$PATHexport PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH 3、安裝python的pyspark模組   pip install pyspark -i https://pypi.tuna.tsinghua.edu.cn/simple/ 


注釋：
1、如果想在python項目中使用spark 功能，python開發環境除了安裝pyspark 模組外，還需要同時安裝spark軟體包才能正常使用。
2、linux 環境只需要安裝jdk、spark、pyspark（python模組）即可；windows 環境還需要額外安裝hadoop組件，否則運行報錯。

 

pyspark 安裝配置【linux && win】