HIVE中MAPJOIN可以使用的情境分析

最近開發中遇到幾種應用，剛好使用MAPJOIN來解決實際的問題。

應用共同點如下：

1: 有一個極小的表<1000行

2: 需要做不等值join操作（a.x < b.y 或者 a.x like b.y等）

這種操作如果直接使用join的話文法不支援不等於操作，hive文法解析會直接拋出錯誤

如果把不等於寫到where裡會造成笛卡爾積，資料異常增大，速度會很慢。甚至會任務無法跑成功~

根據mapjoin的計算原理，MAPJION會把小表全部讀入記憶體中，在map階段直接拿另外一個表的資料和記憶體中表資料做匹配。這種情況下即使笛卡爾積也不會對任務運行速度造成太大的效率影響。

而且hive的where條件本身就是在map階段進行的操作，所以在where裡寫入不等值比對的話，也不會造成額外負擔。

如此看來，使用MAPJOIN開發的程式僅僅使用map一個過程就可以完成不等值join操作，效率還會有很大的提升。

問題解決~~

範例程式碼如下：

   1: select /*+ MAPJOIN(a) */

   2: a.start_level, b.*

   3: from dim_level a

   4: join (select * from test) b

   5: where b.xx>=a.start_level and b.xx<end_level;