當你在一家大型購物中心挑選商品時,商場的感應器已經記錄下你走進每一家店鋪的時間,後臺的管理人員正在通過這些資訊分析前不久擺放在店鋪門口的宣傳板是否起到作用;當你打字時,你的輸入習慣以及每一次糾錯將被記錄, 用以完善其自動補全和拼寫檢查系統...... 不經意間,大資料已經滲透到了你的生活。
剛剛過去的一年被稱為「大資料元年」。 大資料的相關核心技術日益突破發展,商業價值逐漸凸顯,並開始從IT行業向傳統行業滲透。 擁有海量資料池的互聯網公司最先運用大資料技術分析使用者行為,大大降低了廣告投放和採購成本。 其他行業很快看到了大資料的巨大商業潛力,迅速搭上大資料的高速列車:服裝公司可以從你的搜索痕跡中計算出流行色,金融和保險公司通過分析交易資料可以訂制個人化金融解決方案...... 大資料使我們的生活更加便捷、透明,但要從「萌芽」長成「參天大樹」,面臨的難題和問題還真不少。
就大資料本身的發展來看,目前的最大難題是人才短缺,這是大資料實現價值的重要制約。 根據麥肯錫全球研究所的調查報告,到2018年,美國大資料領域中深度分析人才職位的缺口為14萬到19萬個,另外還需要增加150萬名能提出正確問題、並有效利用大資料分析的管理者和分析師。 從根本上說,大資料技術的戰略意義並不在於掌握龐大的資料資訊,而在於對這些資料進行專業化處理,通過「加工」實現資料的增值,因此,上述缺口對於大資料技術的發展意義尤為重大。 據媒體報導,為了迎合大資料技術的發展潮流,美國麻省理工學院將於今年3月推出首個線上大資料專業課程,以深入探索大資料難題的有效解決方案。
不過,「網路並不像我們希望的那麼好,它如同一個十來歲的小孩,莽撞、任性...... 不計後果」。 隨著資訊存儲成本的持續降低,分析工具的日益先進,加上越來越多的企業意識到資料的經濟價值並投身其中,大資料引發的隱私安全問題也隨之而來:大量的使用者資料,包括人們的行為、情緒,甚至地理位置和身份資訊被搜集,然而, 在大多數情況下,使用者卻並不知情。 大資料讓物質世界變得可計算,把人們的生活痕跡印刻在互聯網上,也讓使用者失去了安全感,變成了「透明人」。
此外,從更大的層面上看,大資料還可能危及國家的安全。 例如「棱鏡門」事件,其背後暴露出來的,則是更高層面的資料安全問題。 有軍事專家評論,斯諾登洩密事件相當於美國損失了10個重裝甲師。 由此可見大資料的價值和「殺傷力」。 總之,有關大資料的很多故事聽起來都很美,實則卻風險暗伏。 如何建立機制保護資料的安全,是需要各國進一步思考的問題。