iostat和iowait詳細解說

標籤：io

簡單的說,sar -u看出來的cpu利用率iowait 不實用，iostat -x 中的 svctm   和util 參數

命令形式: iostat -x 1

每隔一秒輸出下

其中的svctm參數代表平均每次裝置I/O操作的服務時間 (毫秒)，反應了磁碟的負載情況，如果該項大於15ms，並且util%接近100%，那就說明，磁碟現在是整個系統效能的瓶頸了。

await 參數代表平均每次裝置I/O操作的等待時間 (毫秒)， 也要多和 svctm 來參考。差的過高就一定有 IO 的問題。如果 svctm 比較接近 await，說明 I/O 幾乎沒有等待時間；如果 await 遠大於 svctm，說明 I/O 隊列太長，應用得到的回應時間變慢。

正常情況下svctm應該是小於await值的，而svctm的大小和磁碟效能有關，CPU、記憶體的負荷也會對svctm值造成影響，過多的請求也會間接的導致svctm值的增加。
await值的大小一般取決與svctm的值和I/O隊列長度以及I/O請求模式，如果svctm的值與await很接近，表示幾乎沒有I/O等待，磁碟效能很好，如果await的值遠高於svctm的值，則表示I/O隊列等待太長，系統上啟動並執行應用程式將變慢，此時可以通過更換更快的硬碟來解決問題。
%util項的值也是衡量磁碟I/O的一個重要指標，如果%util接近100%，表示磁碟產生的I/O請求太多，I/O系統已經滿負荷的在工作，該磁碟可能存在瓶頸。長期下去，勢必影響系統的效能，可以通過最佳化程式或者通過更換更高、更快的磁碟來解決此問題

svctm一項正常時間在20ms左右，原因：

高速cpu會造成很高的iowait值，但這並不代表磁碟是系統的瓶頸。唯一能說明磁碟是系統瓶頸的方法，就是很高的read/write時間，一般來說超過20ms，就代表了不太正常的磁碟效能。為什麼是20ms呢？一般來說，一次讀寫就是一次尋到+一次旋轉延遲+資料轉送的時間。由於，現代硬碟資料轉送就是幾微秒或者幾十微秒的事情，遠遠小於尋道時間2~20ms和旋轉延遲4~8ms，所以只計算這兩個時間就差不多了，也就是15~20ms。只要大於20ms，就必須考慮是否交給磁碟讀寫的次數太多，導致磁碟效能降低了。

%iowait並不能反應磁碟瓶頸

iowait實際測量的是cpu時間：
%iowait = (cpu idle time)/(all cpu time)

iostat來對linux硬碟IO效能進行瞭解

以前一直不太會用這個參數。現在認真研究了一下iostat，因為剛好有台重要的伺服器壓力高,所以放上來分析一下.下面這台就是IO有壓力過大的伺服器

$iostat -x 1
Linux 2.6.33-fukai (fukai-laptop)          _i686_    (2 CPU)
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
5.47    0.50    8.96   48.26    0.00   36.82

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               6.00   273.00   99.00    7.00  2240.00  2240.00    42.26     1.12   10.57   7.96  84.40
sdb               0.00     4.00    0.00  350.00     0.00  2068.00     5.91     0.55    1.58   0.54  18.80

rrqm/s:          每秒進行 merge 的讀運算元目。即 delta(rmerge)/s
wrqm/s:         每秒進行 merge 的寫運算元目。即 delta(wmerge)/s
r/s:            每秒完成的讀 I/O 裝置次數。即 delta(rio)/s
w/s:            每秒完成的寫 I/O 裝置次數。即 delta(wio)/s
rsec/s:         每秒讀扇區數。即 delta(rsect)/s
wsec/s:         每秒寫扇區數。即 delta(wsect)/s
rkB/s:          每秒讀K位元組數。是 rsect/s 的一半，因為每扇區大小為512位元組。(需要計算)
wkB/s:          每秒寫K位元組數。是 wsect/s 的一半。(需要計算)
avgrq-sz:       平均每次裝置I/O操作的資料大小 (扇區)。delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:       平均I/O隊列長度。即 delta(aveq)/s/1000 (因為aveq的單位為毫秒)。
await:          平均每次裝置I/O操作的等待時間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm:          平均每次裝置I/O操作的服務時間 (毫秒)。即 delta(use)/delta(rio+wio)
%util:          一秒中有百分之多少的時間用於 I/O 操作，或者說一秒中有多少時間 I/O 隊列是非空的。即 delta(use)/s/1000 (因為use的單位為毫秒)

如果 %util 接近 100%，說明產生的I/O請求太多，I/O系統已經滿負荷，該磁碟可能存在瓶頸。

idle小於70% IO壓力就較大了,一般讀取速度有較多的wait。

同時可以結合vmstat 查看查看b參數(等待資源的進程數)和wa參數(IO等待所佔用的CPU時間的百分比,高過30%時IO壓力高)

另外 await 的參數也要多和 svctm 來參考。差的過高就一定有 IO 的問題。

avgqu-sz 也是個做 IO 調優時需要注意的地方，這個就是直接每次操作的資料的大小，如果次數多，但資料拿的小的話，其實 IO 也會很小.如果資料拿的大，才IO 的資料會高。也可以通過 avgqu-sz × ( r/s or w/s ) = rsec/s or wsec/s.也就是講，讀定速度是這個來決定的。

另外還可以參考

svctm 一般要小於 await (因為同時等待的請求的等待時間被重複計算了)，svctm 的大小一般和磁碟效能有關，CPU/記憶體的負荷也會對其有影響，請求過多也會間接導致 svctm 的增加。await 的大小一般取決於服務時間(svctm) 以及 I/O 隊列的長度和 I/O 請求的發出模式。如果 svctm 比較接近 await，說明 I/O 幾乎沒有等待時間；如果 await 遠大於 svctm，說明 I/O 隊列太長，應用得到的回應時間變慢，如果回應時間超過了使用者可以容許的範圍，這時可以考慮更換更快的磁碟，調整核心 elevator 演算法，最佳化應用，或者升級 CPU。

隊列長度(avgqu-sz)也可作為衡量系統 I/O 負荷的指標，但由於 avgqu-sz 是按照單位時間的平均值，所以不能反映瞬間的 I/O 洪水。

別人一個不錯的例子(I/O 系統 vs. 超市排隊)

舉一個例子，我們在超市排隊 checkout 時，怎麼決定該去哪個交款台呢? 首當是看排的隊人數，5個人總比20人要快吧? 除了數人頭，我們也常常看看前面人購買的東西多少，如果前面有個採購了一星期食品的大媽，那麼可以考慮換個隊排了。還有就是收銀員的速度了，如果碰上了連錢都點不清楚的新手，那就有的等了。另外，時機也很重要，可能 5 分鐘前還人滿為患的收款台，現在已是人去樓空，這時候交款可是很爽啊，當然，前提是那過去的 5 分鐘裡所做的事情比排隊要有意義 (不過我還沒發現什麼事情比排隊還無聊的)。

I/O 系統也和超市排隊有很多類似之處:

r/s+w/s 類似於交款人的總數

平均隊列長度(avgqu-sz)類似於單位時間裡平均排隊人的個數

平均服務時間(svctm)類似於收銀員的收款速度

平均等待時間(await)類似於平均每人的等待時間

平均I/O資料(avgrq-sz)類似於平均每人所買的東西多少

I/O 操作率 (%util)類似於收款台前有人排隊的時間比例。

我們可以根據這些資料分析出 I/O 請求的模式，以及 I/O 的速度和回應時間。

下面是別人寫的這個參數輸出的分析

# iostat -x 1
avg-cpu: %user %nice %sys %idle
16.24 0.00 4.31 79.44
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
/dev/cciss/c0d0
0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29

上面的 iostat 輸出表明秒有 28.57 次裝置 I/O 操作: 總IO(io)/s = r/s(讀) +w/s(寫) = 1.02+27.55 = 28.57 (次/秒) 其中寫操作佔了主體 (w:r = 27:1)。

平均每次裝置 I/O 操作只需要 5ms 就可以完成，但每個 I/O 請求卻需要等上 78ms，為什麼? 因為發出的 I/O 請求太多 (每秒鐘約 29 個)，假設這些請求是同時發出的，那麼平均等待時間可以這樣計算:

平均等待時間 = 單個 I/O 服務時間 * ( 1 + 2 + … + 請求總數-1) / 請求總數

應用到上面的例子: 平均等待時間 = 5ms * (1+2+…+28)/29 = 70ms，和 iostat 給出的78ms 的平均等待時間很接近。這反過來表明 I/O 是同時發起的。

每秒發出的 I/O 請求很多 (約 29 個)，平均隊列卻不長 (只有 2 個左右)，這表明這 29 個請求的到來並不均勻，大部分時間 I/O 是閒置。

一秒中有 14.29% 的時間 I/O 隊列中是有請求的，也就是說，85.71% 的時間裡 I/O 系統無事可做，所有 29 個 I/O 請求都在142毫秒之內處理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =78.21 * delta(io)/s = 78.21*28.57 = 2232.8，表明每秒內的I/O請求總共需要等待2232.8ms。所以平均隊列長度應為 2232.8ms/1000ms = 2.23，而 iostat 給出的平均隊列長度 (avgqu-sz) 卻為 22.35，為什麼?! 因為 iostat 中有 bug，avgqu-sz 值應為 2.23，而不是 22.35

iostat和iowait詳細解說