dm-ioband並沒有整合在mainstream kernel裡,需要打patch才能用,而且,必須是kernel社區的源碼,像我用紅帽子的kernel打patch是會報錯的。。。
http://sourceforge.net/apps/trac/ioband/wiki/dm-ioband
下載patch完了之後打上,然後make menuconfig,這時在lvm/raid/devicemapper下面把ioband模組勾選上,重新編譯安裝核心,重啟之後lsmod | grep ioband,如果能看到ioband,說明安裝成功了,下面我們用幾個例子來說明如何使用這個dm-ioband功能,下幾篇會對device mapper, ioband的實現原理做詳細分析
e.g.
對於虛擬化情境下的IO QoS,採用uid, gid都是不合適的,比較靠譜的是採用process id, 或者 cgroup 的方式,而QoS策略可以基於
IOPS --> "weight-iosize"
BW --> "weight"
IO Throttle --> "range-bw"
example 1
通過dmsetup建立兩個ioband裝置,把權重比例設為80:20,用dd來測試,發現沒有任何效果;改用fio測試發現效果也不明顯 (後續研究需要對這些問題給出解釋)
#echo "0 $(blockdev --getsize /dev/sdf1) ioband /dev/sdf1 1 0 0 none weight 0 :80" | dmsetup create ioband1
#echo "0 $(blockdev --getsize /dev/sdf2) ioband /dev/sdf2 1 0 0 none weight 0 :20" | dmsetup create ioband2
通過fio分別用隨機寫和順序寫來測試,順序寫的
IOPS比例基本為 6388 : 8992 ,BW比例基本為 25556 : 35968,基本上都為 1.4 : 1,和 4 : 1 的要求差很遠呐
example 2
通過attach pid的方法測試,效果依舊不理想
# dmsetup message ioband1 0 type pid# dmsetup message ioband1 0 attach 15011# dmsetup message ioband1 0 weight 15011:80# dmsetup message ioband1 0 attach 15276# dmsetup message ioband1 0 weight 15276:40
查了下ioband官方wiki,上面提到
Run 128 processes issuing random read/write direct I/O with 4KB data on each virtual machine at the same time respectively.
但是大量小檔案的操作依舊效果不明顯。。。
最後驗證下使用device mapper和直接操作裝置對效能的影響
由於device mapper對每一個sector,通過尋找btree得到真正裝置的物理sector,因此效能會有一定損失,隨機讀寫約為8%,順序讀寫約為3%
-------------------------------------------------- 華麗的分割線 --------------------------------------------------------------
今天重新用fio測試,其中filename選定為裝置 ,e.g. /dev/mapper/ioband1, /dev/sdf1 ,測試放棄指定檔案size, name的方式,採用設定time_base, runtime=30,這一次沒有問題了,個人認為,ioband是否work,跟測試方法關係很大,比如用dd,用基於檔案的fio測試都無法測出準確的資料
dm裝置和物理裝置的損耗約為2%