【互動問答分享】第5期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂

標籤：http   使用   strong   資料   io   for   html   ar   

Spark亞太地區研究院100期公益大講堂 【第5期互動問答分享】

 Q1:spark怎樣支援即席，應該不是spark sql吧，是hive on spark嗎？

         Spark1.0 以前支援即席查詢的技術是Shark;

         Spark 1.0和 Spark 1.0.1支援的即席查詢技術是Spark SQL;

         尚未發布的Spark 1.1開始 Spark SQL是即席查詢的核心，我們期待Hive on Spark也能夠支援即席查詢；

 Q2:現在spark 1.0.0版本是支援hive on spark麼，它支援cli互動式訪問嗎？

         Spark1.0.0不支援hive on spark；

         hive on spark這個項目正在開發中，預計在 Spark 1.1版本的時候發布；

         Spark 1.0.0現在還不直接支援cli訪問；

 Q3:spark sql和hbase怎麼結合呢？

         Spark sql和hbase即可要藉助於Spark core的RDD功能；

         使用hbase的時候需要匯入hbase在Spark上的包

         Spark 1.0.0現在還不直接支援cli訪問；

 Q4:sparkSql支援sql全嗎？老師 可以把現在的PLSQL 直接轉換為 SPARKSQL嗎？ 

         Spark sql現在支援SQL-92的準系統，後續版本不會不斷增強；

         PLSQL 現在還不能夠直接轉為Spark SQL;

         想要更強的SQL支援，在Spark1.0.0和Spark1.0.1版本可以考慮Hive in Spark SQL的功能；

 Q5:如果支援hive on spark,那麼什麼時候用spark sql，什麼時候用hive on spark?

         Hive on spark預計在Spark 1.1這個版本發布，核心功能是要在Spark上使用已有的Hive的一切資料和功能；

         和hive不相關都可以使用Spark SQL；

         從理論上講隨著Spark SQL在未來版本的不斷增強，可以做hive的一切事情；

 Q6:Spark SQL可以使用group by 嗎？

         Spark SQL可以使用group by的功能；

         在SchemaRDD中有group by的支援；

         groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

l   Performs a grouping followed by an aggregation.

 

Q7:spark sql 現在支援sql的那些操作  一直在官網上沒能找到相應的document？

         Spark SQL API的官方Document網址

l   http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.SchemaRDD ；

         Spark SQL使用的官方網址

http://spark.apache.org/docs/latest/sql-programming-guide.html