linux將文字檔內容加以排序命令
功能說明:將文字檔內容加以排序。
語 法:sort [-bcdfimMnr][-o<輸出檔案>][-t<分隔字元>][+<起始欄位>-<結束欄位>][--help][--verison][檔案]
補充說明:sort可針對文字檔的內容,以行為單位來排序。
參 數:
-b 忽略每行前面開始出的空白字元。
-c 檢查檔案是否已經按照順序排序。
-d 排序時,處理英文字母、數字及空白字元外,忽略其他的字元。
-f 排序時,將小寫字母視為大寫字母。
-i 排序時,除了040至176之間的ASCII字元外,忽略其他的字元。
-m 將幾個排序好的檔案進行合并。
-M 將前面3個字母依照月份的縮寫進行排序。
-n 依照數值的大小排序。
-o<輸出檔案> 將排序後的結果存入指定的檔案。
-r 以相反的順序來排序。
-t<分隔字元> 指定排序時所用的欄位分隔字元。
+<起始欄位>-<結束欄位> 以指定的欄位來排序,範圍由起始欄位到結束欄位的前一欄位。
--help 顯示協助。
--version 顯示版本資訊
-k n 表示按照第n個域或欄位
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
下面通過幾個例子來講述Sort的使用。
用Sort命令對text檔案中各行排序後輸出其結果。請注意,在原檔案的第二、三行上的第一個單詞完全相同,
該命令將從它們的第二個單詞vegetables與fruit的首字元處繼續進行比較。
$ cat text
vegetable soup
fresh vegetables
fresh fruit
lowfat milk
$ Sort text
fresh fruit
fresh vegetables
lowfat milk
vegetable soup
使用者可以儲存排序後的檔案內容,或把排序後的檔案內容輸出至印表機。下例中使用者把排序後的檔案內容儲存
到名為result的檔案中。
$ Sort text>result
以第2個欄位作為排序關鍵字對檔案example的內容進行排序。
$ Sort +1-2 example
對於file1和file2檔案內容反向排序,結果放在outfile中,利用第2個欄位的第一個字元作為排序關鍵字。
$ Sort -r -o outfile +1.0 -1.1 example
Sort排序常用於在管道中與其他命令連用,組合完成比較複雜的功能,如利用管道將當前工作目錄中的檔案送
給Sort進行排序,排序關鍵字是第6個至第8個欄位。
$ ls - l | Sort +5 - 7
$ ps -e -o " comm pid time"|Sort -d //按照command的首字母的字母順序排序
Sort命令也可以對標準輸入進行操作。例如,如果您想把幾個檔案文本行合并,並對合并後的文本行進行排序
,您可以首先用命令cat把多個檔案合并,然後用管道操作把合并後的文本行輸入給命令Sort,Sort命令將輸
出這些合并及排序後的文本行。在下面的例子中,檔案veglist與檔案 fruitlist的文本行經過合并與排序後
被儲存到檔案clist中。
$ cat veglist fruitlist | Sort > clist
sort +3 -4 All-Unigene_PlantTFFamily_Abstract.out >All-Unigene_PlantTFFamily_Abstract.sort
sort -k 4 All-Unigene_PlantTFFamily_Abstract.out >All-Unigene_PlantTFFamily_Abstract.sort1
對一個檔案兩列排序,一列正序一列逆序
sort -k1,1n -k2,2nr file
一列逆序 二列正序
sort -k1,1nr -k2,2n tes.txt >result.txt
對一個檔案兩列排序
sort -k1,1n -k2,2n file
1 sort的工作原理
sort將檔案的每一行作為一個單位,相互比較,比較原則是從首字元向後,依次按ASCII碼值進行比較,最後
將他們按升序輸出。
[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
2 sort的-u選項
它的作用很簡單,就是在輸出行中去除重複行。
[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear
pear由於重複被-u選項無情的刪除了。
3 sort的-r選項
sort預設的排序方式是升序,如果想改成降序,就加個-r就搞定了。
[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1
4 sort的-o選項
由於sort預設是把結果輸出到標準輸出,所以需要用重新導向才能將結果寫入檔案,形如sort filename >
newfile。
但是,如果你想把排序結果輸出到原檔案中,用重新導向可就不行了。
[rocrocket@rocrocket programming]$ sort -r number.txt > number.txt
[rocrocket@rocrocket programming]$ cat number.txt
[rocrocket@rocrocket programming]$
看,竟然將number清空了。
就在這個時候,-o選項出現了,它成功的解決了這個問題,讓你放心的將結果寫入原檔案。這或許也是-o比重
定向的唯一優勢所在。
[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1
5 sort的-n選項
你有沒有遇到過10比2小的情況。我反正遇到過。出現這種情況是由於排序程式將這些數字按字元來排序了,
排序程式會先比較1和2,顯然1小,所以就將10放在2前面嘍。這也是sort的一貫作風。
我們如果想改變這種現狀,就要使用-n選項,來告訴sort,“要以數值來排序”!
[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19
6 sort的-t選項和-k選項
如果有一個檔案的內容是這樣:
[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4
這個檔案有三列,列與列之間用冒號隔開了,第一列表示水果類型,第二列表示水果數量,第三列表示水果價
格。
那麼我想以水果數量來排序,也就是以第二列來排序,如何利用sort實現?
幸好,sort提供了-t選項,後面可以設定間隔符。(是不是想起了cut和paste的-d選項,共鳴~~)
指定了間隔符之後,就可以用-k來指定列數了。
[rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3
我們使用冒號作為間隔符,並針對第二列來進行數值升序排序,結果很令人滿意。
7 其他的sort常用選項
-f會將小寫字母都轉換為大寫字母來進行比較,亦即忽略大小寫
-c會檢查檔案是否已排好序,如果亂序,則輸出第一個亂序的行的相關資訊,最後返回1
-C會檢查檔案是否已排好序,如果亂序,不輸出內容,僅返回1
-M會以月份來排序,比如JAN小於FEB等等
-b會忽略每一行前面的所有空白部分,從第一個可見字元開始比較
補充:
文檔編輯--sort
功能說明: 將文字檔內容加以排序。
語 法: sort [-bcdfimMnr][-o<輸出檔案>][-t<分隔字元>][+<起始欄位>-<結束欄位>][--help][--verison][檔案]
補充說明: sort可針對文字檔的內容,以行為單位來排序。
參 數:
-b 忽略每行前面開始出的空白字元。
-c 檢查檔案是否已經按照順序排序。
-d 排序時,處理英文字母、數字及空白字元外,忽略其他的字元。
-f 排序時,將小寫字母視為大寫字母。
-i 排序時,除了040至176之間的ASCII字元外,忽略其他的字元。
-m 將幾個排序好的檔案進行合并。
-M 將前面3個字母依照月份的縮寫進行排序。
-n 依照數值的大小排序。
-o<輸出檔案> 將排序後的結果存入指定的檔案。
-r 以相反的順序來排序。
-t<分隔字元> 指定排序時所用的欄位分隔字元。
+<起始欄位>-<結束欄位> 以指定的欄位來排序,範圍由起始欄位到結束欄位的前一欄位。
--help 顯示協助。
--version 顯示版本資訊。
應用執行個體
要在 LC_ALL、LC_COLLATE 或 LANG 環境變數設定為 En_US 的情況下排序 fruits 檔案 ,請輸入:
LANG=En_US sort fruits此命令序列顯示以升序詞典順序排序的 fruits 檔案的內容。每一列的字元,包括空格、數字和特殊字元都經一一比較。 例如,如果 fruits 檔案包含文本:bananaorangePersimmonapple%%bananaappleORANGEsort 命令顯示:%%bananaORANGEPersimmonappleapplebananaorange在 ASCII 整理序列中,%(百分比符號)在大寫字母前,大寫字母在小寫字母前。如果您當前的語言環境指定 ASCII
之外的字元集,結果可能不同。
要以字典順序排序,請輸入:
sort -d fruits此命令序列排序和顯示 fruits 檔案的內容,並且只比較字母、數字和空格。如果 fruits 檔案與樣本 1 相同,那麼 sort 命令顯示: ORANGEPersimmonappleapple%%bananabananaorange-d 標誌忽略 %(百分比符號)字元,因為它不是個字母、數字或空格。(即 %%banana 被 banana 取代)。
要將包含大寫字母和具有類似小寫行的特殊字元行分組,請輸入:
sort -d -f fruits
-d 標誌忽略特殊字元,-f 標誌忽略大小寫差異。將 LC_ALL、LC_COLLATE 或 LANG 環境變數設定為 C 的情況下,fruits 檔案的輸出結果變為: appleapple%%bananabananaORANGEorangePersimmon
要除去重複行排序,請輸入:
sort -d -f -u fruits
-u 標誌告訴 sort 命令除去重複的行,使檔案中的每一行唯一。此命令序列顯示: apple%%bananaORANGEPersimmon不僅除去重複的 apple,而且也除去了 banana 和 ORANGE。除去這些是因為 -d 標誌忽略 %% 這個特殊字元,-f 標誌忽略大小寫差異。
要如上面那樣排序,除去重複的執行個體(除非是大寫字母或標點不同),請輸入:
sort -u +0 -d -f +0 fruits輸入 +0 -d -f 完成的排序與樣本 3 中 -d -f 的排序類型相同,+0 進行另一項比較以區分不一樣的行。這防止 -u 標誌將它們除去。 樣本 1 所示的 fruits 檔案中,添加的 +0 將 %%banana 與 banana 及 ORANGE 與 orange 區分開來。然而,apple 的兩個執行個體是相同的,所以其中之一被刪除。apple%%bananabananaORANGEorangePersimmon
要指定分隔欄位的字元,請輸入:
sort -t: +1 vegetables
此命令序列排序 vegetables 檔案,對每一行上第一個冒號後的文本進行比較。+1 告訴 sort 命令忽略第一欄位,從第二欄位的開始到該行的結束進行比較。-t: 標誌告訴 sort 命令冒號分隔欄位。
如果 vegetables 包含:
yams:104turnips:8potatoes:15carrots:104green beans:32radishes:5lettuce:15那麼,將 LC_ALL、LC_COLLATE 或 LANG 環境變數設定為 C 的情況下,sort 命令將顯示:carrots:104yams:104lettuce:15potatoes:15green beans:32radishes:5turnips:8注意數字沒有按照數字排序。當用字典式分類從左至右比較每一個字元時出現這種情況。換句話說,3 在 5 之前,所以
32 在 5 之前。
要排序數字,請輸入:
sort -t: +1 -n vegetables
此命令序列按照第二個欄位對 vegetables 檔案進行數字排序。如果 vegetables 檔案與樣本 6 中的相同,那麼 sort 命令將顯示: radishes:5turnips:8lettuce:15potatoes:15green beans:32carrots:104yams:104
要對多個欄位排序,請輸入:
sort -t: +1 -2 -n +0 -1 -r vegetables或 sort -t: -k2,2 n -k1,1 r vegetables
此命令序列對第二欄位(+1 -2 -n)進行數字排序。在這個順序中,它以逆字母順序(+0 -1 -r)對第一欄位排序。將 LC_ALL、LC_COLLATE 或 LANG 環境變數設定為 C 的情況下,輸出將類似於: radishes:5turnips:8potatoes:15lettuce:15green beans:32yams:104carrots:104
此命令按數字順序對行排序。當兩行數字相同時,它們以逆字母順序出現。
要使用排序的文本替換原始檔案,請輸入:
sort -o vegetables vegetables此命令序列將排序輸出存入 vegetables 檔案( -o vegetables)。
本文開始]
有時候學習指令碼,你會發現sort命令後面跟了一堆類似-k1,2,或者-k1.2 -k3.4的東東,有些匪夷所思。今天,我們就來搞定它—-k選項!
1 準備素材
$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
第一個域是公司名稱,第二個域是公司人數,第三個域是員工平均工資。(除了公司名稱,其他的別信,都瞎寫的^_^)
2 我想讓這個檔案按公司的字母順序排序,也就是按第一個域進行排序:(這個facebook.txt檔案有三個域)
$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500
看到了吧,就直接用-k 1設定就可以了。(其實此處並不嚴格,稍後你就會知道)
3 我想讓facebook.txt按照公司人數排序
$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
不用解釋,我相信你能懂。
但是,此處出現了問題,那就是baidu和sohu的公司人數相同,都是100人,這個時候怎麼辦呢?按照預設規矩,是從第一個域開始進行升序排序,因此baidu排在了sohu前面。
4 我想讓facebook.txt按照公司人數排序 ,人數相同的按照員工平均工資升序排序:
$ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
看,我們加了一個-k2 -k3就解決了問題。對滴,sort支援這種設定,就是說設定域排序的優先順序,先以第2個域進行排序,如果相同,再以第3個域進行排序。(如果你願意,可以一直這麼寫下去,設定很多個排序優先順序)
5 我想讓facebook.txt按照員工工資降序排序,如果員工人數相同的,則按照公司人數升序排序:(這個有點難度嘍)
$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
此處有使用了一些小技巧,你仔細看看,在-k 3後面偷偷加上了一個小寫字母r。你想想,再結合我們上一篇文章 ,能得到答案嗎?揭曉:r和-r選項的作用是一樣的,就是表示逆序。因為sort預設是按照升序排序的,所以此處需要加上r表示第三個域(員工平均工資)是按照降序排序。此處你還可以加上n,就表示對這個域進行排序時,要按照數值大小進行排序,舉個例子吧:
$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
看,我們去掉了最前面的-n選項,而是將它加入到了每一個-k選項中了。
6 -k選項的具體文法格式
要繼續往下深入的話,就不得不來點理論知識。你需要瞭解-k選項的文法格式,如下:
[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]
這個文法格式可以被其中的逗號(“,”)分為兩大部分,Start部分和End部分。
先給你灌輸一個思想,那就是“如果不設定End部分,那麼就認為End被設定為行尾”。這個概念很重要的,但往往你不會重視它。
Start部分也由三部分組成,其中的Modifier部分就是我們之前說過的類似n和r的選項部分。我們重點說說Start部分的FStart和C.Start。
C.Start也是可以省略的,省略的話就表示從本域的開頭部分開始。之前例子中的-k 2和-k 3就是省略了C.Start的例子嘍。
FStart.CStart,其中FStart就是表示使用的域,而CStart則表示在FStart域中從第幾個字元開始算“排序首字元”。
同理,在End部分中,你可以設定FEnd.CEnd,如果你省略.CEnd,則表示結尾到“域尾”,即本域的最後一個字元。或者,如果你將CEnd設定為0(零),也是表示結尾到“域尾”。
7 突發奇想,從公司英文名稱的第二個字母開始進行排序:
$ sort -t ‘ ‘ -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000
看,我們使用了-k 1.2,這就表示對第一個域的第二個字元開始到本域的最後一個字元為止的字串進行排序。你會發現baidu因為第二個字母是a而名列榜首。sohu和 google第二個字元都是o,但sohu的h在google的o前面,所以兩者分別排在第二和第三。guge只能屈居第四了。
8 又突發奇想,,只針對公司英文名稱的第二個字母進行排序,如果相同的按照員工工資進行降序排序:
$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000
由於只對第二個字母進行排序,所以我們使用了-k 1.2,1.2的表示方式,表示我們“只”對第二個字母進行排序。(如果你問“我使用-k 1.2怎麼不行?”,當然不行,因為你省略了End部分,這就意味著你將對從第二個字母起到本域最後一個字元為止的字串進行排序)。對於員工工資進行排 序,我們也使用了-k 3,3,這是最準確的表述,表示我們“只”對本域進行排序,因為如果你省略了後面的3,就變成了我們“對第3個域開始到最後一個域位置的內容進行排序” 了。
9 在modifier部分還可以用到哪些選項?可以用到b、d、f、i、n 或 r。其中n和r你肯定已經很熟悉了。
b表示忽略本域的簽到空白符號。
d表示對本域按照字典順序排序(即,只考慮空白和字母)。
f表示對本域忽略大小寫進行排序。
i表示忽略“不可列印字元”,只針對可列印字元進行排序。(有些ASCII就是不可列印字元,比如\a是警示,\b是退格,\n是換行,\r是斷行符號等等)
10 思考思考關於-k和-u聯合使用的例子:
$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
這是最原始的facebook.txt檔案。
$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000
當設定以公司員工域進行數值排序,然後加-u後,sohu一行就被刪除了!原來-u只識別用-k設定的域,發現相同,就將後續相同的行都刪除。
$ sort -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500
$ sort -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
這個例子也同理,開頭字元是g的guge就沒有倖免於難。
$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
咦!這裡設定了兩層排序優先順序的情況下,使用-u就沒有刪除任何行。原來-u是會權衡所有-k選項,將都相同的才會刪除,只要其中有一級不同都不會輕易刪除的:)(不信,你可以自己加一行sina 100 4500試試看)
11 最詭異的排序:
$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
以第二個域的第二個字元開始到第三個域的第一個字元結束的部分進行排序。
第一行,會提取0 3,第二行提取00 5,第三行提取00 4,第四行提取10 5。
又因為sort認為0小於00小於000小於0000….
因此0 3肯定是在第一個。10 5肯定是在最後一個。但為什麼00 5卻在00 4前面呢?(你可以自己做實驗思考一下。)
答案揭曉:原來“跨域的設定是個假象”,sort只會比較第二個域的第二個字元到第二個域的最後一個字元的部分,而不會把第三個域的開頭字元納入比較範圍。當發現00和00相同時,sort就會自動比較第一個域去了。當然baidu在sohu前面了。用一個範例即可證實:
$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000
12 有時候在sort命令後會看到+1 -2這些符號,這是什麼東東?
關於這種文法,最新的sort是這麼進行解釋的:
On older systems, `sort’ supports an obsolete origin-zero syntax `+POS1 [-POS2]‘ for specifying sort keys. POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k’ instead.
原來,這種古老的表示方式已經被淘汰了,以後可以理直氣壯的鄙視使用這種表示方法的指令碼嘍!
(為了防止古老指令碼的存在,在這再說一下這種表示方法,加號表示Start部分,減號表示End部分。最最重要的一點是,這種方式方法是從0開始計數的,以前所說的第一個域,在此被表示為第0個域。以前的第2個字元,在此表示為第1個字元。明白?)
結束語:
本文是互連網上僅有的比較全的關於sort的k選項的論述文章,如需轉載請務必註明“轉自Linux大棚-Linux主題部落格”,謝謝各位:)
sort的-k選項基本就是這堆內容了,如果大家有什麼補充,就留言吧:) 歡迎交流!