Linux檔案按某列排序取top有關awk

Linux檔案按某列排序取top有關awk 目標: Hive中的資料, 按照每個類目使用者的總流量大小排序. 現在需要取出每個類目的top10.  Hive中使用order by  categoryId, traffic desc來對資料排序, 但沒辦法對每個categoryId取top. 因為limit是對整個最終結果產生影響, 所以不能用limit來做.  最後決定匯出文本, 使用awk來取top10.  指令碼: hive -e "select category, traffic from log_table where pt=$yesterday order by category, traffic desc" | awk '{if(cate[$1] < 10){cate[$1]++;print $0}}' > result.txt  這樣就能夠按照category取top. 缺點是對資料量大小有要求, 太大可能不行, 不過是線性.  最開始資料只是單純用select匯出, 所以需要先用sort做一個大排序, 然後awk, 最後再sort一下:  sort -k 2 -r -n result.txt | awk '{if(cate[$1] < 10){cate[$1]++;print $0}}' | sort -k1 -k2 -r 因為有排序, 所以對資料量很敏感, 最後決定先在Hive中排好序再說, 於是就這樣搞了.