基於雲計算技術的化合物相似性分析系統

基於雲計算技術的化合物相似性分析系統

復旦大學  李傑輝

本文研究了雲計算的相關理論、特點和關鍵技術,探索了分散式資料處理程式設計模型MapReduce以及其開源實現Hadoop的運行機制和原理,針對分子結構比較問題提出了一個分散式解決方案。 主要做了如下研究：1)研究了雲計算相關技術和分子相似性比較演算法,結合Hadoop雲計算技術的優點,針對Hadoop無法直接應用於分子相似性比較問題,提出了基於索引檔的處理方法, 將Hadoop雲計算技術應用到分子相似性比較領域上。 2)通過實驗驗證了該方法的可行性。 實驗結果表明該系統在擁有16個CPU並行處理的情況下,本方案平均比單機處理系統快14.4倍,有效地滿足了分子相似性比較系統海量計算的需求。 3)針對Hadoop的Partition演算法可能存在的資料傾斜的問題,提出了一個均勻的輪詢分區演算法,減少了資料傾斜帶來的影響,實驗證明該演算法可以使整個系統的效率提高5%以上。 4) MapReduce框架具備容錯功能,也就是當某個計算節點出現故障時,主節點會自動把該節點計算任務分配到別的空閒機器上,但是該計算節點的資料塊會被從新處理。

HTTP://bbs.chinacloud.cn/showtopic-16942.aspx