Hive最佳化策略介紹

標籤：style   color   使用   strong   資料   io   

作為企業Hadoop應用的核心產品之一，Hive承載著公司95%以上的離線統計，甚至很多企業裡的離線統計全由Hive完成；

 

Hive在企業雲端運算平台發揮的作用和影響越來越大，如何最佳化提速已經顯得至關重要；

Hive作業的規模決定著最佳化層級，一個Hive作業的最佳化和一萬個Hive作業的最佳化截然不同；

 

後續文章將從如下三個方面進行hive的最佳化介紹：

1)  架構方面（高效、全域、局部）----最有效最佳化，好的架構能讓作業效能提高很多

　　a)  分表；（日誌表量大而且作業訪問次數多，造成耗時較長；將用的比較少的資料剝離出來）

　　b)  合理利用中間結果集；

　　　　 i.   重視查過就丟的資源浪費；特別是大資料量的表，如果查完就丟，IO開銷會很大；隨著作業越來越多，造成hadoop的IO負載瓶頸；

　　　　ii.   梳理作業之間的“血緣”關係，把他們之間使用相同的中間結果抽取出來。

　　c)  常用複雜/低效統一給出，以避免上層多個作業每次需要的時候再去計算，提高上層多個作業的計算效率；

　　d)  設計表分區：靜態/動態分區，靜態分區用的比較多；

2)  HQL文法層面（中低效、Job內）

　　通過執行計畫分析

3)  Hive參數層面（全域）

　　太暴力，很少用；但有時會起到很好的效果；