load、save方法、spark sql的幾種資料來源

標籤：

load、save方法的用法         DataFrame usersDF = sqlContext.read().load("hdfs://spark1:9000/users.parquet");
        
        usersDF.select("name", "favorite_color").write()
                .save("hdfs://spark1:9000/namesAndFavColors.parquet");  


 //load、save方法~指定檔案格式
        DataFrame peopleDF = sqlContext.read().format("json")
                .load("hdfs://spark1:9000/people.json");
        peopleDF.select("name").write().format("parquet")

                .save("hdfs://spark1:9000/peopleName_java"); 

parquet資料來源： -》載入parquet資料

DataFrame usersDF = sqlContext.read().parquet("hdfs://spark1:9000/spark-study/users.parquet");

 

-》parquet分區自動推斷

將只有兩個欄位的user.parquet存到 /users/gender=male/country=us/ 目錄下（如下）， 

 

使用如下代碼載入users.parquet的資料後，得到的usersDF中將會有4個欄位 

DataFrame usersDF = sqlContext.read().parquet("hdfs://spark1:9000/spark-study/users/gender=male/country=us/users.parquet");

 其中gender欄位的值為male，country的值為us

 

-》合并中繼資料

parquet合并中繼資料： http://www.cnblogs.com/key1309/p/5332089.html

json資料來源： 

DataFrame studentScoresDF = sqlContext.read().json("hdfs://spark1:9000/spark-study/students.json");

 

//json資料來源的格式要求：

 

 

 

Hive資料來源

// 待續。。。

 

 

JDBC資料來源：

 http://www.cnblogs.com/key1309/p/5350179.html

 

load、save方法、spark sql的幾種資料來源