linux的qos機制 – dm-ioband篇 (1)

來源:互聯網
上載者:User

dm-ioband並沒有整合在mainstream kernel裡,需要打patch才能用,而且,必須是kernel社區的源碼,像我用紅帽子的kernel打patch是會報錯的。。。

http://sourceforge.net/apps/trac/ioband/wiki/dm-ioband

下載patch完了之後打上,然後make menuconfig,這時在lvm/raid/devicemapper下面把ioband模組勾選上,重新編譯安裝核心,重啟之後lsmod | grep ioband,如果能看到ioband,說明安裝成功了,下面我們用幾個例子來說明如何使用這個dm-ioband功能,下幾篇會對device mapper, ioband的實現原理做詳細分析

e.g.

對於虛擬化情境下的IO QoS,採用uid, gid都是不合適的,比較靠譜的是採用process id, 或者 cgroup 的方式,而QoS策略可以基於

IOPS --> "weight-iosize" 

BW --> "weight"

IO Throttle --> "range-bw"

example 1

通過dmsetup建立兩個ioband裝置,把權重比例設為80:20,用dd來測試,發現沒有任何效果;改用fio測試發現效果也不明顯 (後續研究需要對這些問題給出解釋)

#echo "0 $(blockdev --getsize /dev/sdf1) ioband /dev/sdf1 1 0 0 none weight 0 :80" | dmsetup create ioband1

#echo "0 $(blockdev --getsize /dev/sdf2) ioband /dev/sdf2 1 0 0 none weight 0 :20" | dmsetup create ioband2

通過fio分別用隨機寫和順序寫來測試,順序寫的

IOPS比例基本為  6388 : 8992 ,BW比例基本為 25556 :  35968,基本上都為 1.4 : 1,和 4 : 1 的要求差很遠呐

example 2

通過attach pid的方法測試,效果依舊不理想

# dmsetup message ioband1 0 type pid# dmsetup message ioband1 0 attach 15011# dmsetup message ioband1 0 weight 15011:80# dmsetup message ioband1 0 attach 15276# dmsetup message ioband1 0 weight 15276:40

查了下ioband官方wiki,上面提到

Run 128 processes issuing random read/write direct I/O with 4KB data on each virtual machine at the same time respectively.

但是大量小檔案的操作依舊效果不明顯。。。


最後驗證下使用device mapper和直接操作裝置對效能的影響

由於device mapper對每一個sector,通過尋找btree得到真正裝置的物理sector,因此效能會有一定損失,隨機讀寫約為8%,順序讀寫約為3%


-------------------------------------------------- 華麗的分割線 --------------------------------------------------------------


今天重新用fio測試,其中filename選定為裝置 ,e.g. /dev/mapper/ioband1, /dev/sdf1 ,測試放棄指定檔案size, name的方式,採用設定time_base, runtime=30,這一次沒有問題了,個人認為,ioband是否work,跟測試方法關係很大,比如用dd,用基於檔案的fio測試都無法測出準確的資料


dm裝置和物理裝置的損耗約為2%



相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.