異構大資料存儲方法研究

異構大資料存儲方法研究

北京交通大學   單旭

主要的研究內容包括以下幾個方面：首先,針對大資料的產生及所帶來的挑戰,從技術的角度論述了非關係資料庫的發展歷程。 從總體上對關係資料庫和非關係資料庫的特點進行了對比,詳細分析了關係資料庫的優缺點及在大資料環境下遇到的瓶頸,深入研究了非關係資料庫的架構、理論、特徵及存儲模型,闡述了其相比于關係資料庫所存在的優勢。 然後,從功能上和性能上對微博系統具體的存儲要求進行了深入分析,採用非關係資料庫中三種具有不同存儲模型的資料庫,包括Redis、HBase和MongoDB,結合各自的特點來研究微博系統相關存儲功能的實現, 提出了適合微博系統的資料存儲方案,設計了資料存儲結構,可以滿足對即時性、擴充性、可靠性和併發性的要求。 同時使用關係資料庫進行設計,通過對比,從理論上證明了非關係資料庫研究的合理性。 最後,針對微博系統設計的存儲結構,選取典型的測試場景,使用不同資料庫平臺,進行了一系列的驗證測試。 通過對測試結果的分析與比較,可以證明本文設計的資料存儲方案是有效的,能夠滿足微博系統的存儲需求,並為異構大資料環境下具有類似需求的資料存儲問題提供解決思路。

異構大資料存儲方法研究