hive Sort By/Order By/Cluster By/Distribute By

Order by

colOrder: ( ASC | DESC )orderBy: ORDER BY colName colOrder? (',' colName colOrder?)*query: SELECT expression (',' expression)* FROM src orderBy

order by 會對輸入做全域排序，因此只有一個reducer（多個reducer無法保證全域有序）
只有一個reducer，會導致當輸入規模較大時，需要較長的計算時間。
在hive.mapred.mode=strict模式下，強制必須添加limit限制，這麼做的目的是減少reducer資料規模，例如，當限制limit 100時， 如果map的個數為50， 則reducer的輸入規模為100*50

Sort by

colOrder: ( ASC | DESC )sortBy: SORT BY colName colOrder? (',' colName colOrder?)*query: SELECT expression (',' expression)* FROM src sort By

sort by不是全域排序，其在資料進入reducer前完成排序。
因此，如果用sort by進行排序，並且設定mapred.reduce.tasks>1， 則sort by只保證每個reducer的輸出有序，不保證全域有序。

Distribute by
根據distribute by指定的內容將資料分到同一個reducer

Cluster by
除了具有Distribute by的功能外，還會對該欄位進行排序。因此，常常認為cluster by = distribute by + sort by

reference:
languagemanual-sortby
Hive排序