hive的hive.exec.parallel參數說明

hive.exec.parallel參數控制在同一個sql中的不同的job是否可以同時運行,預設為false.

下面是對於該參數的測試過程:

測試sql:

select r1.afrom (   select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1    join    (select s.b from sunwg_100000 t join sunwg_10 s on t.a=s.b) r2    on (r1.a=r2.b);

 

1 當參數為false的時候,三個job是順序的執行

set hive.exec.parallel=false;

2 但是可以看出來其實兩個子查詢中的sql並無關係,可以並行的跑

set hive.exec.parallel=true;

 

總結:
在資源充足的時候hive.exec.parallel會讓那些存在並發job的sql運行得更快,但同時消耗更多的資源
可以評估下hive.exec.parallel對我們的重新整理任務是否有協助.

轉自 http://www.oratea.net/?p=1377