如何理解「大資料時代」？

問：編輯同志，您好。 繼「物聯網」、「雲計算」之後，「大資料」一詞被越來越多地提及。 大家都在談論「大資料」，誰都想用好「大資料」，儼然進入了「大資料時代」。 請問如何理解「大資料時代」？

大資料」只是一種提法，其形態本身是資料雲。 人們用它來描述、定義資訊爆炸時代產生的海量資料，並命名與之相關的技術發展與創新。 讓我們看網上的一組資料，就能夠對「大資料」有一個生動的認識：平均每1秒鐘，會有60張照片上傳到網路；每1分鐘，會有60小時視頻上傳到視頻網站youtube；每1天裡，在臉譜（facebook）有40億的資訊擴散 ；每個智慧手機使用者平均會安裝65個應用；每一天裡，互聯網產生的全部內容可以刻滿1.68億張DVD；每一天發出的郵件有2940億封之多（相當於美國兩年的紙質信件數量），發出的社區帖子達200萬個（相當於《時代》 雜誌770年的文字量）。 在「大資料」中，存儲在資料庫中的結構化資料僅占10%，郵件、視頻、微博、帖子、頁面點擊等大量非結構化資料佔據了另外90%。

「大資料」有幾個明顯特徵。 一是資料量大。 「大資料」的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。 二是資料類型繁多。 包括網路日誌、音訊、視頻、圖片、地理位置資訊等等，多類型的資料對資料的處理能力提出了更高的要求。 三是資料價值密度相對較低。 如隨著物聯網的廣泛應用，資訊感知無處不在，資訊海量，但價值密度較低，如何通過強大的機器演算法更迅速地完成資料的價值「提純」，是「大資料時代」亟待解決的難題。 四是處理速度快，時效性要求高。 這是「大資料」區分于傳統資料採礦最顯著的特徵。

最早提出「大資料時代」到來的是全球知名諮詢公司麥肯錫，麥肯錫稱：資料，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。 人們對於海量資料的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。

如今，互聯網和大資料已經開始深刻影響公司的傳統業務。 比如，大家都熟悉的耐克公司，它的數位運動平臺Nike+至今已經擁有了超過1000萬的註冊使用者，它所收集到的使用者運動資料已經成為耐克在產品設計時的重要參考。 Nike+收集到的資料顯示，大量的使用者是在夜間進行跑步鍛煉的。 當瞭解這點之後研發人員開始思考，在光線昏暗的條件下跑步，人們需要什麼？ 毫無疑問，是可見度和安全性。 因此，在設計鞋的時候加上了反光材料，在設計衣服時也加上了反光材料。 這只是互聯網和「大資料」對耐克影響的一個縮影。

毫不誇張地說，互聯網上每天產生的龐大數位在一定意義上就意味著財富，意味著政治。 美國華爾街根據民眾情緒拋售股票；對沖基金依據購物網站的顧客評論，分析企業產品銷售狀況；銀行根據求職網站的崗位數量，推斷就業率；投資機構搜集並分析上市企業聲明，從中尋找破產的蛛絲馬跡；美國疾病控制和預防中心依據線民搜索， 分析全球範圍內流感等病疫的傳播狀況；美國總統奧巴馬的競選團隊依據選民的微博，即時分析選民對總統競選人的喜好。

「大資料時代」為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。 與此同時，也對人類的資料駕馭能力提出了新的挑戰，尤其讓互聯網公司如臨大敵，有些美國公司甚至認為「大資料時代」就如同「外星人」和「世界末日」一樣，某種程度上是虛構的。 但不管怎樣，海量資料已然擺在面前，是機遇必然伴隨挑戰，關鍵在於如何應對。