基於Hadoop架構的移動終端雲資源訪問模式研究與應用

基於Hadoop架構的移動終端雲資源訪問模式研究與應用

北京工業大學  湯豔

為了在Hadoop架構上建立移動終端雲資源訪問模式，首先對Hadoop架構的基本組成進行深入瞭解，並著重分析其核心元件HDFS分散式檔案系統和MapReduce分散式程式設計模型的工作原理。 由於Hadoop和雲計算在觀點和關鍵技術上的一致性，使得Hadoop成為面向分散式的雲計算平臺。 其次，將雲資源訪問模式分為資料存儲策略、請求調度演算法和資料回應方式三個方面進行討論，並對Hadoop架構下常見的雲資源訪問模式進行分析。 然後，結合移動終端請求計算量小、併發性高、使用者即時性要求高的特點，提出了基於Hadoop架構的移動終端雲資源訪問模式。 其中資料存儲策略包括樹型拓撲結構、副本數量動態優化模型以及最遠節點選擇策略三部分，並提出了最遠葉子節點演算法，用於獲取最遠節點;請求調度演算法方面提出了帶有等待長度閾值的當地語系化調度演算法; 資料回應方式使用了HTTP協定將結果回饋給使用者。 最後，將該訪問模式應用到旅遊資訊檢索系統中。 通過對其應用效果進行分析，驗證了該訪問模式在資料存儲策略方面不僅節省了存儲空間，還提高了檔案系統的可靠性;當地語系化調度演算法大大增加了請求當地語系化執行的概率，縮短了請求回應時間;通過HTTP協定可以很方便的將請求結果回饋給使用者。

基於Hadoop架構的移動終端雲資源訪問模式研究與應用