dd、split、csplit命令,ddsplitcsplit命令
本文目錄:
1.1 dd命令
1.2 split命令
1.3 csplit命令
在Linux最常用的檔案產生和切片工具是dd,它功能比較全面,但無法以行為單位提取檔案資料,也無法直接將檔案按大小或行數進行均分(除非藉助迴圈)。另兩款資料分割工具split和csplit能夠比較輕鬆地實現這些需求。csplit是split的升級版。
1.1 dd命令
從if指定的檔案讀取資料,寫入到of指定的檔案。使用bs指定讀取和寫入的塊大小,使用count指定讀取和寫入的資料區塊數量,bs和count相乘就是檔案總大小。可以指定skip忽略讀取if指定檔案的前多少個塊,seek指定寫入到of指定檔案時忽略前多少個塊。
dd if=/dev/zero of=/tmp/abc.1 bs=1M count=20
if是input file,of是output file;bs有c(1byte)、w(2bytes)、b(512bytes)、kB(1000bytes)、K(1024bytes)、MB(1000)、M(1024)和GB、G等幾種單位。因此,不要隨意在單位後加上字母B。
假設現有檔案CentOS.iso的大小1.3G,需要將其切分後還原,切分的第一個小檔案大小為500M。
dd if=/tmp/CentOS.iso of=/tmp/CentOS1.iso bs=2M count=250
產生第二個小檔案,由於第二個小檔案不知道具體大小,所以不指定count選項。由於第二個小檔案要從第500M處開始切分,於是需要忽略CentOS.iso的前500M。假設bs=2M,於是skip掉的資料區塊數量為250。
dd if=/tmp/CentOS.iso of=/tmp/CentOS2.iso bs=2M skip=250
現在CentOS.iso=CentOS1.iso+CentOS2.iso。可以將CentOS[1-2].iso還原。
cat CentOS1.iso CentOS2.iso >CentOS_m.iso
比較CentOS_m.iso和CentOS.iso的md5值,它們是完全一樣的。
shell> md5sum CentOS_m.iso CentOS.iso504dbef14aed9b5990461f85d9fdc667 CentOS_m.iso504dbef14aed9b5990461f85d9fdc667 CentOS.iso
那麼seek選項呢?和skip有什麼區別?skip選項是忽略讀取時的前N個資料區塊,而seek是忽略寫入檔案的前N個資料區塊。假如要寫入的檔案為a.log,則seek=2時,將從a.log的第3個資料區塊開始追加資料,如果a.log檔案本身大小就不足2個資料區塊,則缺少的部分自動使用/dev/zero填充。
於是,在有了CentOS1.iso的基礎上,要將其還原為和CentOS.iso相同的檔案,可以使用下面的方法:
dd if=/tmp/CentOS.iso of=/tmp/CentOS1.iso bs=2M skip=250 seek=250
還原後,它們的md5值也是相同的。
shell> md5sum CentOS1.iso CentOS.iso504dbef14aed9b5990461f85d9fdc667 CentOS1.iso504dbef14aed9b5990461f85d9fdc667 CentOS.iso
1.2 split命令
split工具的功能是將檔案切分為多個小檔案。既然要產生多個小檔案,必然要指定切分檔案的單位,支援按行切分以及按檔案大小切分,另外還需解決小檔案命名的問題。例如,檔案名稱首碼、尾碼。如果未明確指定首碼,則預設的首碼為"x"。
以下是命令的文法說明:
split [OPTION]... [INPUT [PREFIX]] -a N:產生長度為N的尾碼,預設N=2-b N:每個小檔案的N,即按檔案大小切分檔案。支援K,M,G,T(換算單位1024)或KB,MB,GB(換算單位1000)等,預設單位為位元組-l N:每個小檔案中有N行,即按行切分檔案-d N:指定產生數值格式的尾碼替代預設的字母后綴,數值從N開始,預設為0。例如兩位長度的尾碼01/02/03--additional-suffix=string:為每個小檔案追加額外的尾碼,例如加上".log"。有些老版本不支援該選項,在CentOS 7.2上已支援。 INPUT:指定待切分的輸入檔案,如要切分標準輸入,則使用"-"PREFIX:指定小檔案的首碼,如果未指定,則預設為"x"
例如,將/etc/fstab按行切分,每5行切分一次,並指定小檔案的首碼為"fs_",尾碼為數值尾碼,且尾碼長度為2。
[root@xuexi ~]# split -l 5 -d -a 2 /etc/fstab fs_[root@xuexi ~]# lsfs_00 fs_01 fs_02
查看任一小檔案。
[root@xuexi ~]# cat fs_01# Accessible filesystems, by reference, are maintained under '/dev/disk'# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info#UUID=b2a70faf-aea4-4d8e-8be8-c7109ac9c8b8 / xfs defaults 0 0UUID=367d6a77-033b-4037-bbcb-416705ead095 /boot xfs defaults 0 0
可以將這些切分後的小檔案重新組裝還原。例如,將上面的三個小檔案還原為~/fstab.bak。
[root@xuexi ~]# cat fs_0[0-2] >~/fstab.bak
還原後,它們的內容是完全一致的。可以使用md5sum比較。
[root@xuexi ~]# md5sum /etc/fstab ~/fstab.bak29b94c500f484040a675cb4ef81c87bf /etc/fstab29b94c500f484040a675cb4ef81c87bf /root/fstab.bak
還可以將標準輸入的資料進行切分,並分別寫入到小檔案中。例如:
[root@xuexi ~]# seq 1 2 15 | split -l 3 -d - new_[root@xuexi ~]# ls new*new_00 new_01 new_02
可以為每個小檔案追加額外的尾碼。有些老版本的split不支援該選項,而是在csplit上支援的,但是新版本的split已經支援。例如,加上".log"。
[root@xuexi ~]# seq 1 2 20 | split -l 3 -d -a 3 --additional-suffix=".log" - new1_[root@xuexi ~]# ls new1*new1_000.log new1_001.log new1_002.log new1_003.log
1.3 csplit命令
split只能按行或按照大小進行切分,無法按段落切分。csplit是split的變體,功能更多,它主要是按指定上下文按段落分割檔案。
csplit [OPTION]... FILE PATTERN... 描述:按照PATTERN將檔案切分為"xx00","xx01", ...,並在標準輸出中輸出每個小檔案的位元組數。 選項說明:-b FORMAT:指定檔案尾碼格式,格式為printf的格式,預設為%02d。表示尾碼以2位元值,且不足處以0填充。-f PREFIX:指定首碼,不指定是預設為"xx"。-k:用於突發情況。表示即使發生了錯誤,也不刪除已經分割完成的小檔案。-m:明確禁止檔案的行去匹配PATTERN。-s:(silent)不列印小檔案的檔案大小。-z:如果切分後的小檔案中有空檔案,則刪除它們。 FILE:待切分的檔案,如果要切分標準輸入資料,則使用"-"。 PATTERNs: INTEGER :數值,假如為N,表示拷貝1到N-1行的內容到一個小檔案中,其餘內容到另一個小檔案中。/REGEXP/[OFFSET]:從匹配到的行開始按照位移量拷貝指定行數的內容到小檔案中。 :其中OFFSET的格式為"+N"或"-N",表示向後和向前拷貝N行%REGEXP%[OFFSET]:匹配到的行被忽略。{INTEGER} :假如值為N,表示重複N此前一個模式比對。{*} :表示一直匹配到檔案結尾才停止匹配。
假設檔案內容如下:
[root@xuexi ~]# cat test.txtSERVER-1[connection] 192.168.0.1 success[connection] 192.168.0.2 failed[disconnect] 192.168.0.3 pending[connection] 192.168.0.4 successSERVER-2[connection] 192.168.0.1 failed[connection] 192.168.0.2 failed[disconnect] 192.168.0.3 success[CONNECTION] 192.168.0.4 pendingSERVER-3[connection] 192.168.0.1 pending[connection] 192.168.0.2 pending[disconnect] 192.168.0.3 pending[connection] 192.168.0.4 failed
假設每個SERVER-n表示一個段落,於是要按照段落切分該檔案,使用以下語句:
[root@xuexi ~]# csplit -f test_ -b %04d.log test.txt /SERVER/ {*}0140139140
"-f test_" 指定小檔案首碼為"test_", "-b %04d.log" 指定檔案尾碼格式"00xx.log",它自動為每個小檔案追加額外的尾碼".log", "/SERVER/" 表示匹配的模式,每匹配到一次,就產生一個小檔案,且匹配到的行是該小檔案中的內容, "{*}" 表示無限匹配前一個模式即/SERVER/直到檔案結尾,假如不知道{*}或指定為{1},將匹配一次成功後就不再匹配。
[root@xuexi ~]# ls test_*test_0000.log test_0001.log test_0002.log test_0003.log
上面的檔案中雖然只有三個段落:SERVER-1,SERVER-2,SERVER-3,但切分的結果產生了4個小檔案,並且注意到第一個小檔案大小為0位元組。為什麼會如此?因為在模式比對的時候,每匹配到一行,這一行就作為下一個小檔案的起始行。由於此檔案第一行"SERVER-1"就被/SERVER/匹配到了,因此這一行是作為下一個小檔案的內容,在此小檔案之前還自動產生一個空檔案。
產生的空檔案可以使用"-z"選項來刪除。
[root@xuexi ~]# csplit -f test1_ -z -b %04d.log test.txt /SERVER/ {*}140139140
還可以指定只拷貝匹配到的行位移數量。例如,匹配到行時,只拷貝它後面的1行(包括它自身共兩行),但多餘的行將放入下一個小檔案中。
[root@xuexi ~]# csplit -f test2_ -z -b %04d.log test.txt /SERVER/+2 {*}4213914098
第一個小檔案只有兩行。
[root@xuexi ~]# cat test2_0000.log SERVER-1[connection] 192.168.0.1 success
SERVER-1段落的其餘內容放入到了第二個小檔案中。
[root@xuexi ~]# cat test2_0001.log[connection] 192.168.0.2 failed[disconnect] 192.168.0.3 pending[connection] 192.168.0.4 successSERVER-2[connection] 192.168.0.1 failed
同理第三個小檔案也一樣,直到最後一個小檔案中存放剩餘所有無法匹配的內容。
[root@xuexi ~]# cat test2_0003.log [connection] 192.168.0.2 pending[disconnect] 192.168.0.3 pending[connection] 192.168.0.4 failed
指定"-s"或"-q"選項以靜默模式運行,將不會輸出小檔案的大小資訊。
[root@xuexi ~]# csplit -q -f test3_ -z -b %04d.log test.txt /SERVER/+2 {*}
回到系列文章大綱:http://www.cnblogs.com/f-ck-need-u/p/7048359.html
轉載請註明出處:http://www.cnblogs.com/f-ck-need-u/p/7454671.html註:若您覺得這篇文章還不錯請點擊下右下角的推薦,有了您的支援才能激發作者更大的寫作熱情,非常感謝!