pyspark學習系列（二）讀取CSV檔案 為RDD或者DataFrame進行資料處理

一、本地csv檔案讀取：

最簡單的方法：

import pandas as pdlines = pd.read_csv(file)lines_df = sqlContest.createDataFrame(lines)

或者採用spark直接讀為RDD 然後在轉換

lines = sc.textFile('file'))

如果你的csv檔案有標題 的話，需要剔除首行

header = lines.first()#第一行 lines = lines.filter(lambda row:row != header)#刪除第一行

此時lines 為RDD。如果需要轉換成dataframe：

schema = StructType([StructField('HWMC',StringType(),True),StructField('code',StringType(),True)])lines_df = sqlContest.createDataFrame(lines,schema)

二、hdfs上的csv檔案讀取：

1，採用先讀為RDD再轉換的形式

2，採用sqlContext.read.format（），這個有個前提需要提前做好依賴com.databricks.spark.csv

sqlContext = SQLContext(sc)sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('file')