一種異構集群中能量高效的大資料處理演算法

一種異構集群中能量高效的大資料處理演算法

丁有偉,秦小麟,劉亮,王濤春

集群的能量消耗已經超過了其本身的硬體購置費用，而大資料處理需要大規模的集群耗費大量時間，因此如何進行能量高效的大資料處理是資料擁有者和消費者亟待解決的問題， 也是對能源和環境的一個巨大挑戰.現有的研究一般通過關閉部分節點以減少能量消耗，或者設計新的資料存儲策略以便實施能量高效的資料處理.通過分析發現即便使用最少的節點也存在很大的能源浪費，而新的資料存儲策略對於已經部署好的集群會造成大規模的資料移轉 ，消耗額外的能量.針對異構集群下I/O密集型的大資料處理任務，提出一種新的能量高效演算法MinBalance， 將問題分為節點選擇和負載均衡兩個步驟.在節點選擇階段採用4種不同的貪心策略，充分考慮到節點的異構性，儘量選擇最合適的節點進行任務處理;在負載均衡階段對選擇的節點進行負載均衡， 以減少各個節點因為等待而造成的能量浪費.該方法具有通用性，不受資料存儲策略的影響.實驗表明MinBalance方法在資料集較大的情況下相對於傳統關閉部分節點的方法可以減少超過60%的能量消耗.

一種異構集群中能量高效的大資料處理演算法