關於/dev/null 和 /dev/zero檔案詳解以及誤刪/dev/null和/dev/zero的解決方案和利用/dev/zero進行磁碟IO測試方法

來源:互聯網
上載者:User

標籤:linux   unix   centos   shell   

1、概論 -- 來自維基的解釋/dev/null  :

在類Unix系統中,/dev/null,或稱空裝置,是一個特殊的裝置檔案,它丟棄一切寫入其中的資料(但報告寫入操作成功),讀取它則會立即得到一個EOF。
在程式員行話,尤其是Unix行話中,/dev/null 被稱為位桶(bit bucket)或者黑洞(black hole)。空裝置通常被用於丟棄不需要的輸出資料流,或作為用於輸入資料流的空檔案。這些操作通常由重新導向完成。

/dev/zero  :

在類UNIX 作業系統中, /dev/zero 是一個特殊的檔案,當你讀它的時候,它會提供無限的Null 字元(NULL, ASCII NUL, 0x00)。其中的一個典型用法是用它提供的字元流來覆蓋資訊,另一個常見用法是產生一個特定大小的空白檔案。BSD就是通過mmap把/dev/zero映射到虛地址空間實現共用記憶體的。可以使用mmap將/dev/zero映射到一個虛擬記憶體空間,這個操作的效果等同於使用一段匿名的記憶體(沒有和任何檔案相關)。(引自:/dev/zero - 維基百科)

以下是 摘取天上星 個人的謬解,高手略過:

/dev/null 外號叫無底洞,你可以向它輸出任何資料,它通吃,並且不會撐著!
/dev/zero 是一個輸入裝置,你可你用它來初始設定檔案。
/dev/null------它是空裝置,也稱為位桶(bit bucket)。任何寫入它的輸出都會被拋棄。如果不想讓訊息以標準輸出顯示或寫入檔案,那麼可以將訊息重新導向到位桶。
/dev/zero------該裝置無窮盡地提供0,可以使用任何你需要的數目——裝置提供的要多的多。他可以用於向裝置或檔案寫入字串0。

2、 /dev/null 的日常使用把/dev/null看作"黑洞"。它等價於一個唯寫檔案,並且所有寫入它的內容都會永遠丟失,而嘗試從它那兒讀取內容則什麼也讀不到。然而, /dev/null對命令列和指令碼都非常的有用。

我們都知道  cat $filename  會輸出filename對應的檔案內容(輸出到標準輸出)
而使用         cat $filename >/dev/null 
則不會得到任何資訊,因為我們將本來該通過標準輸出顯示的檔案資訊重新導向到了 /dev/null 中,so what will you get ?
使用  cat $filename 1>/dev/null 也會得到同樣的效果,因為預設重新導向的 1 就是標準輸出。  如果你對 shell 指令碼或者重新導向比較熟悉的話,應該會聯想到 2 ,也即標準錯誤輸出。
我們使用 cat $filename  時如果filename對應的檔案不存在,系統肯定會報錯: “ cat: filename: 沒有那個檔案或目錄 ” 。

如果我們不想看到錯誤輸出呢?我們可以禁止標準錯誤:   cat $badname 2>/dev/null

我們可以通過下面這個測試來更加深刻的理解/dev/null :

$cat test.txt 
just for test
$cat test.txt >/dev/null 
$cat test.txt 1>/dev/null 
$cat test2.txt 
cat: test2.txt: 沒有那個檔案或目錄
$cat test2.txt >/dev/null 
cat: test2.txt: 沒有那個檔案或目錄
$cat test2.txt 2>/dev/null 
$

有些時候,我並不想看道任何輸出,我只想看到這條命令運行是不是正常,那麼我們可以同時禁止標準輸出和標準錯誤的輸出:    

       cat $filename 2>/dev/null >/dev/null

所以:

* 如果"$filename"不存在,將不會有任何錯誤資訊提示,
* 如果"$filename"存在, 檔案的內容不會列印到標準輸出。
* 因此, 上面的代碼根本不會輸出任何資訊,當只想測試命令的退出碼而不想有任何輸出時非常有用。

下一步,我們使用 echo $? 查看上條命令的退出碼:0為命令正常執行,1-255為有出錯。
當然,使用   cat $filename &>/dev/null   也可以達到  cat $filename 2>/dev/null >/dev/null 一樣的效果。

$cat test2.txt 2>/dev/null 
$cat test.txt 2>/dev/null >/dev/null 
$echo $?
0
$cat test2.txt 2>/dev/null >/dev/null 
$echo $?
1
$cat test.txt &>/dev/null
$echo $?
0

有時候,我們需要刪除一些檔案的內容而不刪除檔案本身:(這個方法可以用來刪除記錄檔,在我的Debian筆記本上我給 /var 盤配的空間有些過小,有時候就需要手動使用這個操作來清空日誌)    

 # cat /dev/null > /var/log/messages
 # : > /var/log/messages   有同樣的效果,但不會產生新的進程。(因為:是內建的)
 
下面的執行個體中,使用/dev/null 來刪除cookie 並且不再使用cookie
  if [ -f ~/.netscape/cookies ]       # 如果存在則刪除,刪除後才可以添加軟連結
then
  rm -f ~/.netscape/cookies
fi

ln -s /dev/null ~/.netscape/cookies 

其中,cookies的目錄是可以變換的,比如說我自己電腦上的firefox的cookie目錄為: ~/.mozilla/firefox/nah4b6di.default/cookies*

3、/dev/zero 的日常使用
像/dev/null一樣,/dev/zero也是一個偽檔案,但它實際上產生連續不斷的null的流(二進位的零流,而不是ASCII型的)。寫入它的輸出會丟失不見,/dev/zero主要的用處是用來建立一個指定長度用於初始化的空檔案,像臨時分頁檔。

比如說,在我的前一篇部落格中(《嘗試安裝Chrome OS的新版本 Vanilla & 安裝之後隨身碟遇到的問題解決》),提到我使用dd 製作的隨身碟系統,而我的隨身碟有16G,而製作好後,系統硬碟只佔了2.5G,而其他的空間(將近12G)都無發使用。我只能使用  dd if=/dev/zero of=/dev/sdb bs=4M 來重新給我整個隨身碟清零。

指令碼執行個體 1. 用/dev/zero建立一個交換臨時檔案
 #!/bin/bash
# 建立一個分頁檔,參數為建立的塊數量(不帶參數則為預設),一塊為1024B(1K)


ROOT_UID=0         # Root 使用者的 $UID 是 0.
E_WRONG_USER=65    # 不是 root?


FILE=/swap
BLOCKSIZE=1024
MINBLOCKS=40
SUCCESS=0

# 這個指令碼必須用root來運行,如果不是root作出提示並退出
if [ "$UID" -ne "$ROOT_UID" ]
then
  echo; echo "You must be root to run this script."; echo
  exit $E_WRONG_USER
fi 


blocks=${1:-$MINBLOCKS}          # 如果命令列沒有指定,則設定為預設的40塊.
# 上面這句等同如:
# ----------------------------------------
# if [ -n "$1" ]
# then
#   blocks=$1
# else
#   blocks=$MINBLOCKS
# fi
# -----------------------------------------

if [ "$blocks" -lt $MINBLOCKS ]
then
  blocks=$MINBLOCKS              # 最少要有 40 個塊長,如果帶入參數比40小,將塊數仍設定成40
fi 

echo "Creating swap file of size $blocks blocks (KB)."
dd if=/dev/zero of=$FILE bs=$BLOCKSIZE count=$blocks # 把零寫入檔案.

mkswap $FILE $blocks             # 將此檔案建為分頁檔(或稱交換分區).
swapon $FILE                     # 啟用分頁檔.

echo "Swap file created and activated."
exit $SUCCESS

運行效果我們可以看到: 

[[email protected] zhaiqutianshangxing/tmp]$ vim testswap.sh
[[email protected] zhaiqutianshangxing/tmp]$ chmod +x testswap.sh    
[[email protected] zhaiqutianshangxing/tmp]$ sudo ./testswap.sh 
[sudo] password for zhaiqutianshangxing:  
[[email protected] zhaiqutianshangxing/tmp]$ ./testswap.sh

You must be root to run this script.

[[email protected] zhaiqutianshangxing/tmp]$ sudo ./testswap.sh           
[sudo] password for zhaiqutianshangxing:     
Creating swap file of size 40 blocks (KB).
記錄了40+0 的讀入
記錄了40+0 的寫出
40960位元組(41 kB)已複製,0.000904021 秒,45.3 MB/秒
正在設定交換空間版本 1,大小 = 36 KiB
無標籤, UUID=3e59eddf-098f-454d-9507-aba55f434a8c
Swap file created and activated.

關於 /dev/zero 的另一個應用是為特定的目的而用零去填充一個指定大小的檔案,如掛載一個檔案系統到環回裝置 (loopback device) 或"安全地" 刪除一個檔案。
指令碼執行個體2. 建立ramdisk
 #!/bin/bash
# ramdisk.sh
# "ramdisk"是系統RAM記憶體的一段,它可以被當成是一個檔案系統來操作.
# 優點:存取速度非常快 (包括讀和寫).
# 缺點: 易失性, 當電腦重啟或關機時會遺失資料.
#會減少系統可用的RAM.
#
# 那麼ramdisk有什麼作用呢?
# 儲存一個較大的資料集在ramdisk, 比如一張表或字典,這樣可以加速資料查詢, 因為在記憶體裡尋找比在磁碟裡尋找快得多.

E_NON_ROOT_USER=70             # 必須用root來運行.
ROOTUSER_NAME=root

MOUNTPT=/mnt/ramdisk
SIZE=2000                      # 2K 個塊 (可以合適的做修改)
BLOCKSIZE=1024                 # 每塊有1K (1024 byte) 的大小
DEVICE=/dev/ram0               # 第一個 ram 裝置

username=`id -nu`
if [ "$username" != "$ROOTUSER_NAME" ]
then
  echo "Must be root to run ""`basename $0`""."
  exit $E_NON_ROOT_USER
fi

if [ ! -d "$MOUNTPT" ]         # 測試掛載點是否已經存在了,
then                           #+ 如果這個指令碼已經運行了好幾次了就不會再建這個目錄了
  mkdir $MOUNTPT               #+ 因為前面已經建立了.
fi

dd if=/dev/zero of=$DEVICE count=$SIZE bs=$BLOCKSIZE # 把RAM裝置的內容用零填充.
                                                      # 為何需要這麼做?
mke2fs $DEVICE                 # 在RAM裝置上建立一個ext2檔案系統.
mount $DEVICE $MOUNTPT         # 掛載裝置.
chmod 777 $MOUNTPT             # 使普通使用者也可以存取這個ramdisk,但是, 只能由root來缷載它.

echo """$MOUNTPT"" now available for use."
# 現在 ramdisk 即使普通使用者也可以用來存取檔案了.
# 注意, ramdisk是易失的, 所以當電腦系統重啟或關機時ramdisk裡的內容會消失.
#
# 重啟之後, 運行這個指令碼再次建立起一個 ramdisk.
# 僅重新載入 /mnt/ramdisk 而沒有其他的步驟將不會正確工作.


# 如果加以改進, 這個指令碼可以放在 /etc/rc.d/rc.local,以使系統啟動時能自動設立一個ramdisk。這樣很合適速度要求高的資料庫伺服器.
exit 0
運行起來效果如下:


[[email protected] zhaiqutianshangxing/tmp]$ vim ramdisk.sh
[[email protected] zhaiqutianshangxing/tmp]$ chmod +x ramdisk.sh
[[email protected] zhaiqutianshangxing/tmp]$ ./ramdisk.sh
Must be root to run ramdisk.sh.
[[email protected] zhaiqutianshangxing/tmp]$ sudo ./ramdisk.sh
記錄了2000+0 的讀入
記錄了2000+0 的寫出
2048000位元組(2.0 MB)已複製,0.0113732 秒,180 MB/秒
mke2fs 1.42.8 (20-Jun-2013)
Discarding device blocks: 完成
檔案系統標籤=
OS type: Linux
塊大小=1024 (log=0)
分塊大小=1024 (log=0)
Stride=0 blocks, Stripe width=0 blocks
16384 inodes, 65536 blocks
3276 blocks (5.00%) reserved for the super user
第一個資料區塊=1
Maximum filesystem blocks=67108864
8 block groups
8192 blocks per group, 8192 fragments per group
2048 inodes per group
Superblock backups stored on blocks:
    8193, 24577, 40961, 57345


Allocating group tables: 完成
正在寫入inode表: 完成
Writing superblocks and filesystem accounting information: 完成
/mnt/ramdisk now available for use.
最後值得一提的是,ELF二進位檔案利用了/dev/zero。


今天測試磁碟IO的時候執行命令,突然發現/dev/zero檔案莫名奇妙的丟失了,提示找不到檔案,錯誤提示如下:
摘取天上星,一個熱愛互連網藝術的人!Email:[email protected]
[[email protected] zhaiqutianshangxing]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
dd: 正在開啟"/dev/zero": 沒有那個檔案或目錄
誤刪/dev/zero檔案的解決方案如下兩條命令進行修複重建檔案:[[email protected] zhaiqutianshangxing]# mknod /dev/zero c 1 5
[[email protected] zhaiqutianshangxing]# chmod 666 /dev/zero
修複完成後用命令測試下是否可用,發現已經可以正常使用磁碟測試了
[[email protected] sq808sq]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
記錄了4096+0 的讀入
記錄了4096+0 的寫出
268435456位元組(268 MB)已複製,105.086 秒,2.6 MB/秒
至此,/dev/zero 檔案的修複重建工作已經完成(該檔案為系統特殊檔案丟失後不能從系統硬碟或其他系統直接複製使用,只能通過重建修複,下文的/dev/null檔案也是如此)
誤刪/dev/null檔案的解決方案如下:[[email protected] zhaiqutianshangxing]# mknod /dev/null c 1 3
[[email protected] zhaiqutianshangxing]# chmod 666 /dev/null
然後執行命令查看/dev/null 檔案,如下所示,已經成功修複/dev/null檔案
[[email protected] zhaiqutianshangxing]# ls -la /dev/null
crw-rw-rw-. 1 root root 1, 3 12月 12 13:13 /dev/null


利用/dev/zero測試磁碟IO:

[[email protected] zhaiqutianshangxing]# dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
記錄了4096+0 的讀入
記錄了4096+0 的寫出
268435456位元組(268 MB)已複製,104.896 秒,2.6 MB/秒
[[email protected] zhaiqutianshangxing]# dd if=/dev/zero of=test bs=8k count=256k conv=fdatasync
記錄了262144+0 的讀入
記錄了262144+0 的寫出
2147483648位元組(2.1 GB)已複製,28.9346 秒,74.2 MB/秒

更為詳細的/dev/zero磁碟IO測試說明:

正常測試的時候可能不止測試一邊,可能會需要很多遍求取平均值,這個測試結果在普通的重新導向是沒有效果的 之後 google 了一下 用下面的方式重新導向到一個檔案

dd if=/dev/zero of=/var/test bs=8k count=1000000  2>> info

這樣測試的結果就到info檔案裡面了

        1. dd if=/dev/zero of=test bs=64k count=16k
  這個很不準確的,因為命令結束的時候資料還沒有真正寫到磁碟上去

  2. dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  這個還算準確,資料已經寫入磁碟

  3. dd if=/dev/zero of=test bs=64k count=4k oflag=dsync
  這個可以當成是類比資料庫插入操作,所以很慢

  接著讓我們來看看VPS磁碟效能
  dd if=/dev/zero of=test bs=64k count=16k
  1073741824 bytes (1.1 GB) copied, 2.625317 seconds, 358 MB/s
  上面方法得到的結果看上去似乎很快
  dd if=/dev/zero of=test bs=64k count=16k conv=fsync
  1073741824 bytes (1.1 GB) copied, 12.5891 seconds, 77.1 MB/s
  執行有點慢,不過這次結果比較有參考價值
  dd if=/dev/zero of=test bs=64k count=2k oflag=dsync
  134217728 bytes (134 MB) copied, 176.151 seconds, 755 kB/s
  這個嘛,就是VPS的真正實力,在84的vps上測可是有20M/s

      -dsync 可以當成是類比資料庫插入操作,在/dev/zone中讀出一條資料就立即寫入硬碟
      -fsync 同樣也是將資料已經寫入磁碟,但是是在經過緩衝後最後再寫入硬碟

以下幾種方式測試磁碟讀寫速度的區別?
dd bs=1M count=128 if=/dev/zero of=test
dd bs=1M count=128 if=/dev/zero of=test; sync
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
dd bs=1M count=128 if=/dev/zero of=test oflag=dsync
區別在於記憶體中寫緩衝的處理方式。
dd bs=1M count=128 if=/dev/zero of=test
沒有加任何參數,dd預設的方式不包括“同步(sync)”命令。也就是說,dd命令完成前並沒有讓系統真正把檔案寫到磁碟上。所以以上命令只是單純地把這128MB的資料讀到記憶體緩衝當中(寫緩衝[write cache])。所以你得到的將是一個超級快的速度。因為其實dd給你的只是讀取速度,直到dd完成後系統才開始真正往磁碟上寫資料,但這個速度你是看不到了。所以如果這個速度很快,先不要偷著樂。呵呵
dd bs=1M count=128 if=/dev/zero of=test; sync
和前面1中的完全一樣。分號隔開的只是先後兩個獨立的命令。當sync命令準備開始往磁碟上真正寫入資料的時候,前面dd命令已經把錯誤的“寫入速度”值顯示在螢幕上了。所以你還是得不到真正的寫入速度。
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
加入這個參數後,dd命令執行到最後會真正執行一次“同步(sync)”操作,所以這時候你得到的是讀取這128M資料到記憶體並寫入到磁碟上所需的時間,這樣算出來的時間才是比較符合實際的。
dd bs=1M count=128 if=/dev/zero of=test oflag=dsync
加入這個參數後,dd在執行時每次都會進行同步寫入操作。也就是說,這條命令每次讀取1M後就要先把這1M寫入磁碟,然後再讀取下面這1M,一共重複128次。這可能是最慢的一種方式了,因為基本上沒有用到寫緩衝(write cache)。
建議使用 dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
因為這種方式最接近電腦實際操作,所以測出來的資料最有參考價值。

摘取天上星,一個熱愛互連網藝術的人!Email:[email protected]


關於/dev/null 和 /dev/zero檔案詳解以及誤刪/dev/null和/dev/zero的解決方案和利用/dev/zero進行磁碟IO測試方法

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.