專家觀點:「大資料」與「海量資料」的區別

很多年前，業界就在討論一個話題：如何應對海量資料？ 特別是一些需要存儲大量使用者資料的行業，金融、電信、保險等熱門行業。 使用者幾乎在一天的每個小時，都有可能產生大量資料，這些行業的存放裝置，必須要將期間產生的資料一絲不苟地記錄下來。 隨著資料量的迅速增加，很多行業使用者開始想辦法變「數」為寶，從海量資料中挖掘有價值的資訊。

如果僅僅是海量的結構性資料，那麼解決的辦法就比較的單一，使用者通過購買更多的存放裝置，提高存放裝置的效率等解決此類問題。 然而，當人們發現資料庫中的資料可以分為三種類型：結構性資料、非結構性資料以及半結構性資料等複雜情況時，問題似乎就沒有那麼簡單了。

大資料洶湧來襲

當類型複雜的資料洶湧襲來，那麼對於使用者IT系統的衝擊又會是另外一種處理方式。 很多業內專家和協力廠商調查機構通過一些市場調查資料發現，大資料時代即將到來。 有調查發現，這些複雜資料中有85%的資料屬於廣泛存在於社交網路、物聯網、電子商務等之中的非結構化資料。 這些非結構化資料的產生往往伴隨著社交網路、移動計算和感應器等新的管道和技術的不斷湧現和應用。

如今大資料的概念也存在著很多的炒作和大量的不確定性。 為此，編者詳細向一些業內專家詳細瞭解有關方面的問題，請他們談一談，大資料是什麼和不是什麼，以及如何應對大資料等問題，將系列文章的形式與網友見面。

有人將多TB資料集也稱作"大資料"。 據市場研究公司IDC統計，資料使用預計將增長44倍，全球資料使用量將達到大約35.2ZB（1ZB = 10億TB）。 然而，單個資料集的檔尺寸也將增加，導致對更大處理能力的需求以便分析和理解這些資料集。

EMC曾經表示，它的1000多個客戶在其陣列中使用1PB（千兆兆）以上的資料資料，這個數位到2020年將增長到10萬。 一些客戶在一兩年內還將開始使用數千倍多的資料，1EB（1艾位元組 = 10億GB）或者更多的資料。

對大企業而言，大資料的興起部分是因為計算能力可用更低的成本獲得，且各類系統如今已能夠執行多工處理。 其次，記憶體的成本也在直線下降，企業可以在記憶體中處理比以往更多的資料，另外是把電腦聚合成伺服器集群越來越簡單。 IDC認為，這三大因素的結合便催生了大資料。 同時，IDC還表示，某項技術要想成為大資料技術，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個"V"判據中的兩個：多樣性(variety)、體量(volume)和速度(velocity)。

多樣性是指，資料應包含結構化的和非結構化的資料。

體量是指聚合在一起供分析的資料量必須是非常龐大的。

而速度則是指資料處理的速度必須很快。

大資料"並非總是說有數百個TB才算得上。 根據實際使用方式，有時候數百個GB的資料也可稱為大資料，這主要要看它的第三個維度，也就是速度或者時間維度。

Garter表示，全球資訊量正在以59%以上的年增長率增長，而量是在管理資料、業務方面的顯著挑戰，IT領袖必須側重在資訊量、種類和速度上。

量：企業系統內部的資料量的增加是由交易量、其它傳統資料類型和新的資料類型引發的。 過多的量是一個存儲的問題，但過多的資料也是一個大量分析的問題。

種類：IT領袖在將大量的交易資訊轉化為決策上一直存在困擾 - 現在有更多類型的資訊需要分析 - 主要來自社交媒體和移動（情景感知）。 種類包括表格資料（資料庫）、分層資料、檔、電子郵件、計量資料、視頻、靜態圖像、音訊、股票行情資料、金融交易和其它更多種類。

速度：這涉及到資料流程、結構化記錄的創建，以及訪問和交付的可用性。 速度意味著正在被生成的資料有多快和資料必須被多快地處理以滿足需求。

雖然大資料是一個重大問題，Gartner分析師表示，真正的問題是讓大資料更有意義，在大資料裡面尋找模式説明組織機構做出更好的商業決策。

(責任編輯：蒙遺善)