在百度nlp實習一個月時間裡用到的shell操作

標籤：檔案   資料   for   ar   時間   file   c   user   

文本行中各列打亂：

awk ‘BEGIN{srand()}{for(i=1;i<=NF;i++) b[rand()NF]=$i}END{for(x in b)printf "%s ",b[x]}‘` data

 

文本行中各行打亂：

awk ‘BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}‘ data

shuf -n1000 data

 

以a.txt作為pattern尋找b.txt，實際是求2者交集：

grep -F -x -f a.txt b.txt 

 

以a.txt作為pattern尋找b.txt，顯示不在a.txt中的資料，實際是求差集b-a：

grep -F -v -x -f a.txt b.txt 

 

編碼轉換：

iconv -f gb18030 -t utf8 filename 

 

以_為分隔字元，第二列為索引值排序，穩定排序（預設不穩定）：

sort -t_ -k1,2  -s  filename

 

對大檔案進行外部排序並去重，以temp目錄作為緩衝：

sort -u -T temp filename

 

sort filename | uniq   -c計數唯一的排序的記錄 -d僅僅顯示重複的記錄 -u僅僅顯示沒有重複的記錄

 

在preview中開啟awk的man文檔：

man -t awk | open -a Preview -f  

 

awk和cut簡單用法：

awk -F: -v ‘OFS=\t‘ ‘{print "all users are:",$1,$2,$3,$4,$5,$6,$7}‘ /etc/passwd | cut -f 1,6

 

wc -l 行數 -c位元組數 -w字數