對於大資料的四個特性我們當然瞭解,相關性也找到了,接下來就是如何利用大資料創造出價值。 「大資料是什麼」,「大資料跟我有什麼關係」,這是很多人第一次聽到大資料心中所產生的疑問。
據《30雜誌》報導,麥爾•荀伯格在千余名想瞭解HTTP://www.aliyun.com/zixun/aggregation/12368.html">未來趨勢的觀眾面前,做了一場精彩易懂的演說,告訴了企業及民眾, 什麼是大資料。
大資料找出相關性
2009年,全球出現一種新的流感病毒H1N1,當時美國也無法倖免,疾病管制局(CDC)要求第一線的醫師遇到H1N1流感病例,必須立刻通報。 即使如此,通報速度仍總是慢一步,會晚1到2個星期。 這樣的時效讓疾管局無法掌握真實情況,對症下藥。
當時有幾位Google 工程師在著名的《自然》科學期刊中發表了一篇論文。 他們透過美國最常使用的前5000萬個搜尋關鍵字,再與疾管局2003-2008年間的流感傳播資料加以比對,用高達4.5億種不同的數學模型,找出這些字出現的頻率、時間及地點,有沒有統計上的相關性(correlation)。 最後被他們挖到寶了,這套軟體找出了45個流感關鍵字眼,放進數學模型之後,預測結果與官方公佈的真實資料吻合,有強烈的相關性。
Google 運用這套數學模型,再一次精准地掌握了流感發生的高峰及地區,讓防疫工作同步進行,不落後。
再說另一例子,天文學來說,美國太空總署執行一項叫史隆數碼巡天計畫(Sloan Digital Sky Survey),從2000年開始,他們用位於美國新墨西哥州的天文望遠鏡去收集資料,計畫開始不過幾星期, 收到的天文資料量就已超過了過去所有天文學歷史的總和。 到了2010年,這個計畫收到了140TB 的資料量。 但是接續的新計畫,預計2016年登場,未來的巡天望遠鏡在5天內,就可收到這些資料量。
荀伯格說,當資料進入天文數位時代,荀伯格提醒:到底大資料有多大?其實不是那麼重要,重點是在放大,擴大資料量等級,就能做出少量資料做不到的事。
舉例來說,畫一張馬的圖畫,不是太難的事,但如果畫了很多張馬的圖畫,再以每秒24幀來呈現這些圖畫,就成了動畫。 這裡要強調的是「量變」產生了「質變」,巨量就是這個道理,量的不同,也改變了本質。
what比why重要
量增加了,就出現另一項大資料的特色:亂(messy)。 巨量資料的內容常是混亂不齊,品質不一。 這是因為,巨量資料的收集過程中,它只要一個大方向即可,不需要講究到一寸、一分。 「這並不是說我們放棄了精准這件事,只是不再將精准奉為圭臬,」荀伯格說。
舉例來說,我們要測量某個葡萄園的溫度,如果整片葡萄園只有一支溫度計,那這支溫度計就要十分精准,不能故障,但也意味著它會很貴。 換句話說,就是不能有任何雜亂或出錯;相反的,如果我們今天在葡萄園裡放了100支溫度計去測溫度,就可以用便宜一些,簡單的溫度計測出很精准的溫度。
100支溫度計代表的是量大,儘管其中幾支可能不那麼精准,但卻可以收集到大量資料。 比起只靠一支溫度計來說,更可看到全貌,代表全體。 那此時,一點雜亂就顯得微不足道。
重點又來了,荀伯格忽然站起來向所有在場的觀眾說,大資料時代,資料數量比資料品質更重要。 更不要為了一點點資訊的偏差而影響了整體分析,想處理掉不精准的資訊,成本會很高,也沒有必要!
另一個有趣的例子是沃爾瑪(73.54, 0.00, 0.00%)(Walmart),他們從龐大的交易記錄上發現,在颶風來襲前,銷量大增的不只是手電筒筒,還有一種美國小甜點 Top-Tarts,店家會在每次颶風來臨前,把一盒一盒的 Top-Tarts放在風災的必需品架上,方便急忙的顧客一次滿足,「特別是草莓口味的,賣得最好。 」
請注意,這裡Walmart不去弄清楚為什麼颶風時人們特別想吃Top-Tarts,而是把這個相關性找出來,直接採取更有利的行銷動作。
荀伯格特別強調,大資料時代,what比why重要。
再舉一個例子,發生在他朋友,也是大資料專家,任教于華盛頓大學的教授伊茲奧尼(Oren Etzioni)身上。 2003 年時他想從西雅圖塔機到洛杉磯參加弟弟的婚禮,他想愈早訂票愈能買到便宜,幾個月前他就買好了機票,也覺得買得很便宜。 沒想到他在航程中,出於好奇問了隔壁乘客買多少錢,何時買的。 結果,一問之下,都回答最近才買,且都比他買得便宜,他十分生氣。
下了飛機後,他決定去好好研究一下購買機票這件事。 他發現,如果平均票價呈現下跌,買票就可以慢慢來;如果價格上揚中,你就要先訂票,以免它水漲船高。
伊茲奧尼花了41天的時間去比對一旅遊網站中超過12000筆的票價資料,他建立了一個模型,讓類比的消費者都省下了大筆的機票錢。 在這模型裡,消費者不懂「為什麼(why)」,只知道「正是如此(what)」,消費者要決定現在是「買或是不買」。
後來這套模型發展出創業計畫,他創了一個Farecast網站,消費者可以做出最佳判斷,何時該買,還是不買。
大資料與價值
當我們知道了大資料的特性,也找到了相關性,接下來就是靠著它創造出價值來。
美國西雅圖有一家專門收集車輛即時定位的資料公司Inrix,它的資料來自上億台的車輛。 同時,它也推出手機 App服務,通過提供服務換取特定的司機資料,包括他們曾開車去的地方、天氣及路況等。 他們將收到的資料再出售給一家投資基金,該基金根據大型零售商場附近的路況推測業績,在零售商公佈季報前,搶先決定該買入或賣出。 因為車潮就是錢潮。 這就是價值。
英國的羅爾斯羅伊斯是著名的飛機引擎製造商,它通過在引擎上安裝了一個監控器,以掌控引擎是否正常運轉。 結果隨著他們收集到的資料中發現,當引擎出現哪些信號異常,引擎可能會發生問題,這個監控變成了預測,大大減少飛安事故。 羅爾斯羅伊斯從過去單單的製造引擎公司,轉型為服務諮詢,他們讓資料產生出價值。
荀伯格說了許多大資料的美好,但他強調,大資料有其黑暗面:隱私當然是一個該關注的焦點,但他強調,更可怕的是各種演算法,去預測是不是會患心臟病?或你是否會犯罪等。 有時,依靠大資料做出的演算與預測,如果與自由意志不符時,孰輕孰重?
同時,我們也擔心,愈來愈多的企業會掌握更多資料,但如此龐大的資料為他們所收集,拿去做了什麼?什麼用途?不一定能受到監督與管理,這是重要議題。
「巨量資料是為人類所掌控,而不是被巨量資料所掌控,」這是荀伯格最後的提醒。