小心大資料的陷阱

前不久騰訊舉辦了一場夏季思享會，其主題是大資料。 關於大資料，大家炒作得更多的是機遇、威力，比方說越來越多人利用GoogleHTTP://www.aliyun.com/zixun/aggregation/14294.html">的大資料來研究趨勢，輔助分析決策， 但是這場思享會從另一個角度分享了一個很好的思考：大資料也可能是「大忽悠」。

而最近對Google Flu Trends(流感趨勢)的一些研究正好佐證了這一點。

說到 Google Flu Trends，首先必須先提一提Google Trends 和Google Correlate。 Google Trends 利用對使用者搜索的大資料分析來獲得人類某些活動的趨勢，只要在 Google Trends 上輸入某些查詢關鍵字即可返回相關活動的資料序列。 而 Google Correlate 則是輸入資料序列可返回一組結果呈類似模式(相關性)的查詢，有點類似于 Google Trends 的反函數。

Google Flu Trends 是 Google Trends 最早也是最知名的應用之一。 鑒於很多人患流感是往往會上 Google 查詢瞭解疾病情況和用藥，因此 Google 發現這種查詢與流感爆發存在著某種相關關係。 Google Trends 曾經有過多次對流感的成功預測，包括 2011/12 年的美國流感、2007/08 年瑞士流感、2005/06 年德國流感、2007/08 比利時流感等，其及時性甚至要比美國疾病預防控制中心還要高。

這顯示出了搜索「流感」與流感爆發的相關性。

另一個例子是「宿醉」。 比方說在 Google Trends 輸入「hangover(宿醉)」，你會發現這種情況在週六開始冒頭，然後周日到達巔峰，而到了週一則急劇下降。 這種模式與輸入「伏特加」的查詢結果類似(滯後一天)。

但是資料越大未必就能帶來更高的預測率。 甚至還會帶來「假規律」和「偽相關」。 比方說，搜索 2004 至 2012 年間的美國汽車銷售與「印度餐館」，結果發現二者之間竟然存在相關關係。 這個東西顯然是無法解釋的。

偽相關的原因是什麼呢?

首先，相關性並不意味著因果關係。 比方說，Google Flu Trends 對趨勢的預測並非屢試不爽。 有幾次 Google Trends 就嚴重高估了流感病例的數量，包括 2011/12 的美國流感，2008/09 瑞士流感，2008/09 德國流感、2008/09 比利時流感等。

英國倫敦大學學院的研究人員對此進行了研究。 結果發現，到 Google 搜索「流感」的人可以分成兩類，一類是感冒患者，一類是跟風搜索者(可能是因為媒體報導而對感冒話題感興趣者)。

顯然第一類人的資料才是有用的。 其搜索是內部產生的，獨立于外界的。 因此這些人的搜索模式應該與受到外界影響而進行搜索的人的模式不同。 而正是第二類人的社會化搜索使得 Google Flu Trends 的預測失真。 這正是因為 Google Flu Trends 把搜索「流感」與得流感的相關性當成了因果關係所致。

而稍早前美國東北大學與哈佛大學的研究人員對 Google Flu Trends 的失真案例進行的另一組研究則認為，這反映出了熱炒大資料的氛圍下誕生的一股大資料自大思潮。 這股思潮認為，大資料完全可以取代傳統的資料收集方法。 其最大問題在於，絕大多數大資料與經過嚴謹科學試驗和採樣設計得到的資料之間存在很大的不同。 首先，大未必全;其次，大則可能魚龍混雜。

此外，Google搜索演算法本身的變化也有可能影響到Google Flu Trends的結果。 這個原因不難理解。 要知道，Google 搜索的調整非常頻繁，單去年就進行了890項改進。 其中就有不少屬於演算法的調整。 媒體對於流感流行的報導會增加與流感相關的詞彙的搜索次數，也會令 Google 增加相關搜索的推薦。 從而令一些本身並不感冒的人也對流感產生了興趣，進而把資料弄髒。

如何清洗資料呢?歸根到底還是需要對資料進行模式分析。 在流感趨勢這個例子，研究人員認為，執行獨立搜索的患流感人群的模式會隨著時間推移而異于社會化搜索。 其表現應該是在流感爆發時搜索急劇攀升，然後隨著流感消失而緩慢下降。 相反，社會化搜索則會表現得更為勻稱。 資料表明，在 Google 流感趨勢出現高估的時候，趨勢曲線的對稱性的確更高。

這說明在分析大資料時必須要注意此類陷阱。 充斥的大資料集以及統計學家對分析結果的傳播會令真實的資料被放大或弄髒。

正如《The Parable of Google Flu: Traps in Big Data Analysis》的作者所認為那樣，資料的價值並不僅僅體現在其「大小」上。 利用創新性資料分析方法去分析資料才是本質。

當然，在未來資料能夠逐步成為真正的大資料，並且數位世界與實體世界的映射趨於一致時，大資料也許就能發揮其完全的威力，乃至於改變我們解決問題的方式。