記憶體計算、Hadoop和NoSQL是2011年大資料分析的三大熱點。 IBM院士、DB2總架構師Curt Cotner在拉斯維加斯舉辦的IOD2011大會上演講時表示,未來的資料庫發展方向是非關係資料庫NoSQL。 目前Google的BigTable和Amazon的Dynamo都用NoSQL型資料庫,而傳統的關係資料庫在應付超大規模、高併發的SNS、web2.0網站已經力不從心。
IBM院士、DB2總架構師Curt Cotner在IOD2011大會上演講
傳統的關係資料庫在應付web2.0網站網站時暴露了很多難以克服的問題:web2.0網站要根據使用者個人化資訊來即時生成動態頁面和提供動態資訊,資料庫併發負載非常高,往往要達到每秒上萬次讀寫請求。 關係資料庫可以應付上萬次SQL查詢,但是應付上萬次SQL寫資料請求,硬碟IO就已經無法承受了。 對於大型的SNS網站,每天使用者產生海量的使用者動態,比如目前Facebook每天處理10TB的數 據,Twitter每天處理7TB,同時這些資料量每天都在增長。 對於關係資料庫來說,在如此海量的資訊中進行SQL查詢,效率是極其低下乃至不可忍受的。
關聯式資料庫最大特點就是事務的一致性:傳統的關聯式資料庫讀寫操作都是事務的,具有ACID(原子性 Atomicity、一致性Consistency、隔離性Isolation、持久性Durability)的特點,C就是一致性 (Consistency),這個特點是關聯式資料庫的靈魂(其他三個AID都是為其服務的),這個特性使得關聯式資料庫可以用於幾乎所有對一致性有要求 的系統中,如典型的銀行系統。 關係資料庫的另一個特點就是其具有固定的表結構,因此,其擴充性極差,而在SNS中,系統的升級,功能的增加,往往意味著資料結構巨大改動,這一點關聯式資料庫也難以應付,需要新的結構化資料存儲。
據悉,NoSQL一詞最早出現于1998年,是Carlo Strozzi開發的一個輕量、開源、不提供SQL功能的資料庫。 NoSQL打破了長久以來關聯式資料庫與ACID理論大一統的局面。 NoSQL 資料存儲不需要固定的表結構,通常也不存在連接操作,但在大資料存取上具備關聯式資料庫無法比擬的性能優勢。
Curt Cotner介紹從上世紀90年代至今的資料庫技術經歷的幾大熱點
(責任編輯:呂光)