除了「物聯網」和「雲計算」，IT業又出現了一個新名詞——大資料。 如今，大資料甚至引起了工商界和金融界的高度關注，人們認為大資料將為數據應用和決策支援提供有效説明，成為物聯網和雲計算內在的靈魂和必然的發展趨勢。 大資料目前尚沒有統一的定義，通常被認為是一種資料量很大、資料形式多樣化的非結構化資料。
這裡我們先弄清楚幾個概念，結構化資料、半結構化資料和非結構化資料。 結構化資料可以在關係資料庫中找到，多年來一直主導著IT應用;半結構化資料包括電子郵件、文字處理檔以及大量發佈在網路上的新聞等，以內容為基礎，這也是谷歌和百度存在的理由;而非結構化資料廣泛存在於社交網路、物聯網、 電子商務之中。 伴隨著社交網路、移動計算和感應器等新技術不斷產生，有報告稱，超過85%的資料屬於非結構化資料。
很多人相信這些龐大的異構資料中蘊含著巨大財富——企業如果能在這些非結構化資料中挖掘知識並與業務融合，決策的依據將會更加全面和準確;在科學、體育、廣告和公共衛生等其他領域中， 也有著向資料驅動型的發現和決策方式轉變的趨勢。
大資料的推動因素主要來自于一些大型IT公司，如谷歌、亞馬遜、中國移動、阿裡巴巴等，他們需要以更加優化的方式存儲和分析資料。 此外，還有一些來自健康醫療、地理空間遙感和數位媒體等行業的大資料需求。 據市場研究公司統計，未來10年裡預計數位資訊總量將在2009年到2020年增長44倍，全球資料使用量將達到大約35.2ZB(1ZB=10億TB)。
大資料呈現出「4V+1C」的特點：(1)Variety，大資料種類繁多，在編碼方式、資料格式、應用特徵等多個方面存在差異性，多資訊源併發形成大量的異構資料;(2)Volume，通過各種設備產生的海量資料， 其資料規模極為龐大，遠大於目前互聯網上的資訊流量，PB級別將是常態;(3)Velocity，涉及到感知、傳輸、決策、控制開放式迴圈的大資料，對資料即時處理有著極高的要求，通過傳統資料庫查詢方式得到的「當前結果」 很可能已經沒有價值;(4)Vitality，資料持續到達，並且只有在特定時間和空間中才有意義;(5)Complexity，通過資料庫處理持久存儲的資料不再適用于大資料處理， 需要有新的方法來滿足異構資料統一接入和即時資料處理的需求。
Apache的Hadoop已成為大資料行業發展背後的技術推動力，Hive和Pig等技術也經常被提到。 同時，旨在從非結構化資料的龐大寶藏中獲得知識和洞察力的電腦工具也正在迅速發展中。 這些工具的發展依賴于不斷進步的人工智慧技術，比如自然語言處理、模式識別和機器學習等。
可以預見，未來一兩年內，將會湧現大量能夠處理大型非結構化資料的工具和平臺。 除了Hadoop的批量化處理方式之外，基於流資料處理的方式也將在即時資料分析應用中發揮作用。 此外，大資料熱潮還將對視覺化的理解和需求提出新的挑戰。 視覺化在資料工作流中將同時起到解釋和探索的作用，資料科學家會將視覺化作為尋求問題以及探索資料集新特性的一種方式。
由於大資料的技術門檻較高，因此目前在該領域展開競爭的大都是在資料存儲、分析等領域有著傳統優勢的廠商。 2012年1月，Oracle正式發佈Oracle大資料機。 IBM在大資料領域的優勢則在於全面，而機器人「沃森」在人機大戰中獲勝，更成為IBM為其大資料分析解決方案加分的例證。
中國市場在這個新興領域非常重要。 中國有龐大的人口基數，IT基礎設施也比較成熟，資料量是不可想像的。 樂觀的人已經看到了其中的機會，不論是出於應對海量資料的需要進行系統升級，還是試圖從資料中挖掘價值的衝動，都有可能迎來一個充滿智慧的「資料創新」時代。 (劉禹 作者單位：中科院自動化所)
(責任編輯：呂光)
