簡單來說，這個技巧對應的是如下一種情境
假設有文本如下
複製代碼 代碼如下:
cccc
aaaa
bbbb
dddd
bbbb
cccc
aaaa
現在需要對它進行去重處理，這個很簡單，sort -u就可以搞定，但是如果我希望保持文本原有的順序，比如這裡有兩個aaaa，我只是希望去掉第二個aaaa，而第一個aaaa在bbbb的前面，去重後仍舊要在它前面，所以我期望的輸出結果是
複製代碼 代碼如下:
cccc
aaaa
bbbb
dddd
當然，這個問題本身並不難，用C++或python寫起來都很容易，但所謂殺機焉用牛刀，能用shell命令解決時，它永遠都是我們的首選。答案在最後給出，下面說說我是如何想到這樣
我們有時候想把自己的目錄加入環境變數PATH時會在~/.bashrc檔案中這樣寫，比如待加入的目錄為$HOME/bin
複製代碼 代碼如下:
export PATH=$HOME/bin:$PATH
這樣我們等於是在PATH追加了路徑$HOME/bin並讓它在最前面被搜尋到，但當我們執行source ~/.bashrc後，$HOME/bin目錄就會被加入PATH，如果我們下次再添加一個目錄，比如
複製代碼 代碼如下:
export PATH=$HOME/local/bin:$HOME/bin:$PATH
再執行source ~/.bashrc時，$HOME/bin目錄在PATH中其實會有兩份記錄，雖然這不影響使用，但對於一個強迫症來說，這是無法忍受的，於是問題就變成了，我們需要去掉$PATH裡重複的路徑，並且保持原有路徑順序不變，也就是原本誰在前面，去重後仍舊在前面，因為在執行shell命令時是從第一個路徑開始尋找的，所以順序很重要
好了，說了這麼多我們來揭示最終的結果，以文章開始的資料為例，假設輸入檔案是in.txt，命令如下
複製代碼 代碼如下:
cat -n in.txt | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2-
這些都是很簡單的shell命令，下面稍作解釋
複製代碼 代碼如下:
cat -n in.txt : 輸出文本，並在前面加上行號，以\t分隔
sort -k2,2 -k1,1n : 對輸入內容排序，primary key是第二個欄位，second key是第一個欄位並且按數字大小排序
uniq －f1 : 忽略第一列，對文本進行去重，但輸出時會包含第一列
sort -k1,1n : 對輸入內容排序，key是第一個欄位並按數字大小排序
cut -f2- : 輸出第2列及之後的內容，預設分隔符號為\t
大家可以從第一條命令開始，並依次組合，看看實際輸出效果，那樣便更容易理解了。對於$PATH中的重複路徑又該如何處理呢，還是以前面的例子來說，只需在前後用tr做一下轉換即可
複製代碼 代碼如下:
export PATH=$HOME/local/bin:$HOME/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`
其實這樣使用PATH會有個問題，比如我們執行了以上命令後，如果想去掉$HOME/bin這個路徑，僅僅修改為如下內容是不夠的
複製代碼 代碼如下:
export PATH=$HOME/local/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`
因為我們已經將$HOME/bin加入了$PATH中，這樣做並沒有起到刪除的作用，也許最好的方式還是自己清楚的知道所有路徑，然後顯示指定，而不是採取追加的方式
