雲計算遭遇大資料:資料之道 智取未來

來源:互聯網
上載者:User

據分析,到2020年,全球以電子形式存儲的資料量將達到35ZB,是2009年全球存儲量的40倍。 而在2010年底,根據IDC的統計,全球資料量已經達到了120萬PB,或1.2ZB。 如果將這些資料都燒錄在DVD上,那麼光把這些DVD碟片堆疊起來就可以從地球壘到月球一個來回(單程約24萬英里)。

在資訊化的建設過程中,眾所周知,資料可以分為3種:結構化資料、半結構化資料和非結構化資料。 其中,85%的資料屬於企業業務過程中產生的文檔等非結構化資料。

面對著海量的資料,人們不禁感歎,大資料時代已經到來,悲觀者深為管理和維護而憂慮,樂觀者則看到了大資料的大價值。 何謂「大資料」,目前沒有統一的定義。 通常認為,它是海量的非結構化資料,其特點是資料量很大,資料的形式多樣化。 如何存儲這些快速增長的、海量的資料?如何對大資料進行分析處理,挖掘出價值? 相關的一系列問題成為了所有企業面臨的共同挑戰。

一、 大資料時代的挑戰與目標

大資料時代的挑戰包括:如何實現高效、智慧的大資料存儲?非結構化資料正在呈海量增長趨勢,如何對其進行有效的資料管理和應用?現有資料保護與文檔歸檔機制能否應對日益增長的海量資料?如何攻克移動資料管理的難點問題? 如何在複雜的資料環境下實現高效的資料安全? 如此種種問題,逐漸成為了所有CIO的共同挑戰。

但是我們發現,對於這些大資料的挑戰,其實歸納起來就只有兩個目標:

1. 管理好大資料,從大資料的產生、存儲、保護、歸檔到安全維護的各個角度,從根本上而言,這是IT管理維護的範疇,只不過資料量超出常規管理尺度後,對於管理維護的難度出現了跳躍式上升的態勢;

2. 使用好大資料,這是企業管理的最終目標,大資料即意味著大價值,資料與資料、資料與人、資料與業務的關聯性。 這個挑戰既有流動性、關聯性、智慧的應用挑戰,也有基於大資料深度挖掘的挑戰。

但是,這兩個目標之間也不是分離的,而是一個相輔相成的關係,管理和維護的目的是使用,使用的基礎是好的管理維護。

二、 雲計算與大資料,時代的交集

為了解決大資料的挑戰,人們自然而然的想起了雲計算,雲計算遭遇大資料,這是時代的發展必然趨勢。 雲計算技術可以實現IT資源的自動化管理和配置,降低IT管理的複雜性,提高資源利用效率。 對企業來說,雲計算的主要形態是私有雲,其主要的業務由私有雲支撐,而非關鍵的業務或者突發性的業務可以採用公共雲資源。 私有雲與公共雲需要無縫連接,從而形成混合雲的環境。

大資料意味著大資源,這是雲計算與大資料的交集,其實也就是意味著,雲計算與大資料的關係是兩個方向,雲計算可以承載大資料,大資料也是可以通過雲計算架構和模型來提供解決方案。 這樣我們就可以清晰的知道,大資料在管理和應用的方向上,可以通過雲計算的資源分享、高可擴充性、服務特性來搭建和運營。

三、 大資料的大內涵

如果說大資料與雲計算的交集是外部交集,那麼大資料內部的關聯、挖掘,則是大資料的大內涵,這個調整遠遠超過雲計算的應用難度,資料與資料的複雜關係,比如跨應用系統的結構化資料與非結構化資料的關聯; 海量資料的存儲以及資料在人之間的分享;資料(結構化與非結構化)與業務和決策間的關聯。

要解決這個問題的一個思路是EMC提出的資訊生命週期思想,但是在很多業界同行看來,這個思想在雲計算和大資料時代需要真正的昇華,而這個方向就是智慧,不是單一和局部的,而是統一的智慧。 IBM提出了智慧的地球,作為國內崛起的新興代表愛數則提出了智慧資料管理解決方案,也是基於統一智慧和資訊生命週期思想的框架。

無疑,這是一種新的思路,據愛數相關負責人透露,這種統一的框架採用雲計算體系結構,主要技術突破在資源池化和法規管理遵從,從資料生成階段就將大資料納入到生命週期管理中,通過統一的智慧策略,既提供了很好的運維和保護, 也能在使用和挖掘階段與業務應用結合起來,提供統一的資料資訊平臺。

四、 資料之道,智取未來

對於大資料時代,無論是企業還是廠商,策略、規劃和思想是核心,與雲計算一樣,大資料的大內涵,需要有大思維和高規劃。 計算時代成就了Wintel為代表的一批廠商,那個時代的旋律是摩爾定律;網路互通時代正在成就包括GOOGLE、FACEBOOK、騰訊為代表的網路新貴,這個時代的主旋律是互通;大資料時代的到來,為更多的廠商帶來了機會, 而這個時代的主基調,無可厚非,智慧必將當道。 正所謂,資料之道,智取未來。

(責任編輯:蒙遺善)

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.