近日網上流傳這麼一個故事:一名小夥子專門應聘上海高檔社區的物業管理,自己配了掃描槍,每天就盯著社區垃圾堆,看見有條碼就掃描,晚上回家把資料整理出來,得出社區居民喝什麼水、吃什麼油、買什麼衣服, 整個社區的消費品類和品牌偏好一清二楚,再形成報告賣給大公司,報告價值數十萬。
這是大資料價值的微小表像之一。
2013年被認為是世界的大資料元年,資料被稱為新的石油,在未來,資料將會像土地、石油和資本一樣,成為經濟運行中的根本性資源。 美國人維克托·邁爾·舍恩伯格撰寫的《大資料時代》指出,大資料帶來的資訊風暴正在變革我們的生活、工作和思維,大資料開啟了一次重大的時代轉型。
維克托·邁爾·舍恩伯格被譽為「大資料商業應用第一人」,擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷,早在2010年就在《經濟學人》上發佈了長達14頁對大資料應用的前瞻性研究。
什麼是大資料
大資料,或稱巨量資料,指所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、整理成為説明企業經營決策更積極目的的資訊。
概念很玄乎,其實每個人每天都在創造資料。 以淘寶為例,每天有數以萬計的交易在淘寶上進行,交易時間、商品價格、購買數量均被記錄,更重要的是,這些資訊可以與買賣雙方的年齡、性別、位址、甚至興趣愛好等個人特徵資訊相匹配。 運用匹配的資料,淘寶可以優化店鋪排名和使用者推薦;商家可以根據以往的銷售資訊和「淘寶指數」進行生產、庫存決策,賺更多的錢;而與此同時,更多的消費者也能以更優惠的價格買到更心儀的寶貝。
相同道理,Google和百度、Facebook和人人網、Twitter和微博...... 互聯網每時每刻都在產生資料,從而形成資料海洋。 人們要做的,是如何從海裡撈到大魚。
如何運用大資料
有這麼幾個案例:
華爾街「德溫特資本市場」公司首席執行官保羅·霍廷每天的工作之一,就是利用電腦程式分析全球3.4億微博帳戶的留言,進而判斷民眾情緒,再以「1」到「50」進行打分。 根據打分結果,霍廷再決定如何處理手中數以百萬美元計的股票。 他的判斷原則很簡單:如果所有人似乎都高興,那就買入;如果大家的焦慮情緒上升,那就拋售。 這一招收效顯著——當年第一季度,霍廷的公司獲得了7%的收益率。
美國一個超市將女性顧客中的孕婦視作購物的黃金消費者。 為了將這部分目標人群在懷孕前就爭取過來,該超市通過調查羅列出幾十種購物偏好,當某位顧客的收銀條上集中呈現這類商品時,就會被認定為可能是孕婦或家中有孕婦,超市隨後向其發送孕婦產品廣告。 一次,當有人以「家中並無孕婦卻總是收到相關產品廣告」為由控告這家超市後,卻發現原來是自己還在上高中的女兒懷孕了。
2009年甲型H1N1流感病毒出現,在沒有疫苗的情況下,公共衛生專家能做的只是減慢傳播速度,要做到這一點,專家必須先知道流感出現在哪裡,這只能依靠各地醫生發現並告知疾控中心,資訊肯定是滯後的。 可是,Google的工程師們比疾控專家更早地判斷出流感從哪裡傳播出來,他們依靠的就是Google所掌握的大資料。
這就是大資料的運用實例。 你在百度上搜索、論壇上發言、新浪上微博,都有可能成為被分析的資料。 《大資料時代》詳細分析了Google、微軟、亞馬遜、IBM、蘋果、Facebook、Twitter、VISA等大資料先鋒們最具價值的應用案例。 如何利用大資料,從而開發出其中的商業價值,已經成為投資者、IT界人士以及政府公共管理部門普遍關心的問題。
大資料帶來什麼變革
維克托認為,大資料是一種「人們在大規模資料的基礎上可以做到的事情」的指代,是「人們獲得新的認知、創造新的價值的源泉,還是改變市場、組織機構,以及政府與公民關係的方法」。
維克托提醒人們要做好「三大轉變」的準備:其一,在大資料時代,可分析更多乃至全體的資料,而不再依賴于隨機採樣;其二,資料如此之多,可以放棄精確允許混雜;其三,有了資料支援,完全可以知其然而不必知其所以然, 即從因果關係轉為相關關係。 此三大論斷,意味著人們理解和組建社會的方法將徹底改變,也預示著某些學科存在的正當性將面臨史上最嚴峻的拷問,如社會科學。 「這門學科過去曾非常依賴樣本分析、研究和調查問卷。 當記錄下來的是人們平常狀態,也就不用擔心在做研究和調查問卷時存在的偏見了。 現在,我們可以收集過去無法收集到的資訊。 」亞伯特-拉斯洛·巴拉巴西的《爆發》甚至認為,通過大資料和冪律分佈分析,人類行為93%是可以預測的。
除了思維變革,大資料時代引發的還有「商業變革」和「管理變革」。 在這兩部分,維克托列舉了大量案例來強化論證如下觀點:一切皆可「量化」;當前,大資料應用只是冰山一角,絕大部分隱藏在表面之下——資料創新包括再利用、重組、擴展、折舊、廢棄與開放;另外,大資料決定著企業未來的競爭力,由此, 資料中間商和資料科學家會應運而生,依勢崛起。
不過,在樂觀之余,冷靜的維克托也感到了大資料帝國的脆弱和不安,包括產業生態環境、資料安全隱私、資訊公正公開等問題。 所以,他告誡世人要警惕無處不在的「第三隻眼」和資料獨裁者的存在。 基於此,他提出了「責任與自由並舉的資訊管理」架構來應對大資料時代,方法包括:個人隱私保護,從個人許可到讓資料消費者承擔責任;擊碎黑盒子,大資料程式師的崛起;反資料壟斷大亨等等。
(責任編輯:蒙遺善)