spark hive區別，sparkhive區別

spark hive區別，sparkhive區別

一:Hive本質是是什麼

1：hive是分布式又是資料倉儲，同時又是查詢引擎，Spark SQL只是取代的HIVE的查詢引擎這一部分，企業一般使用Hive+spark SQL進行開發

2：hive的主要工作

      1>  把HQL翻譯長map-reduce的代碼，並且有可能產生很多mapreduce的job

      2> 把生產的Mapreduce代碼及相關資源打包成jar並發布到Hadoop的叢集當中並進行運行

3：hive架構

                     

 

4：hive預設情況下用derby儲存中繼資料，所以在生產環境下一般會採用多使用者的資料庫進行中繼資料的儲存，並可以讀寫分離和備份，一般使用主節點寫，從節點讀，一般使用mysql

5：hive資料倉儲資料的具體儲存

二：SparkSQL  和DataFrame

1：處理一切儲存介質和各種格式的資料(可以擴充sparksql來讀取更多類型的資料)

2：Spark SQL把資料倉儲的計算速度推向了新的高度（Tungsten成熟之後會更厲害）

3：Spark SQL 推出的Dataframe可以讓資料倉儲直接使用機器學習，圖計算等複雜演算法

4：HIVE+Spark SQL+DataFrame：

     i> Hive:負責廉價的資料倉儲儲存

     ii>Spark Sql:負責高速的計算

     iii> DataFrame：負責複雜的資料採礦

三： DataFrame與RDD

1：DataFrame是一個分布式的table

2：RDD和DataFrame的根本差異

    1.RDD是以Record為單位的，

    2.DataFrame包含了每一個Record的Metadata資訊，也就是說DataFrame的的最佳化是基於列的最佳化，RDD是基於行的最佳化