解決MapReduce過程中IO wait高的幾個思路

最近在MapReduce的邏輯運算測試的時，發現單個節點的CPU的IO wait值比較高，CPU大量的消耗在等待IO操作上。

單個節點的運算的資料量比較大，每秒的IO輸送量將近200M，iotop監控了一下主要是消耗在tasktacker從datanode節點讀取資料上。

從以下幾個角度上對這個問題進行最佳化。

1、來源資料壓縮儲存

2、dfs.data.dir分多個目錄存放

3、io.file.buffer.size的調整，增加每次讀取的資料量

4、減少tasktracker並發任務的進程數量

5、map.local.dir分多個目錄，減少map運算中間結果的IO影響；中間資料壓縮儲存。

6、檔案系統的最佳化，預讀緩衝大小調整，檔案掛載設定noatime、nodiratime；調整IO調度演算法，適應大量順序讀的情境；