給大資料降降溫：關於大資料的九個問題

「大資料」突然間變得無處不在，似乎每個人都想收集、分析大資料、並從中獲利，同時也有人在誇耀或者害怕它的巨大影響。 不論我們是在討論利用谷歌龐大的搜索資料來預測流感的爆發還是利用通話記錄來預測恐怖活動，又或者是利用航空公司的資料找到買機票的最佳時機，大資料都可以幫上忙。 將現代計算技術和數位時代眾多的資料結合起來，似乎可以解決任何問題——犯罪，公共衛生，用語的變化，約會的危險，只要我們把這些資料利用起來。

似乎它的擁護者這樣宣稱。 「在接下來的二十年，」記者派翠克·塔克在他最近的大資料聲明中這樣寫道，「是透明的未來，」「我們可以以一種前所未有的準確度預測未來的諸多領域，甚至包括一些長久以來被認為人類無法干預的領域。 」但大資料其實從來沒有聽上去那麼好。

大資料真的像說的那麼好?毫無疑問大資料確實是一個有價值的工具，並在某些領域產生了至關重要的影響。 比如，幾乎近二十年人工智慧電腦程式的成功，從谷歌的搜尋引擎到IBM的沃森電腦問答系統，都包括了大量資料的處理。 但是正是因為它最近如此受歡迎並得到廣泛應用，我們需要清晰的看待大資料究竟能做什麼和不能做什麼。

大資料能告訴我們是什麼，但不能告訴我們為什麼

首先，儘管大資料能夠非常好地檢測相關性，特別是那些用小資料集可能無法測出的微妙相關性，但是它並不會告訴我們哪一種相關性是有意義的。 比如，大資料分析可能會揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場份額是極度相關的，都呈急速下降趨勢。 但是很難相信這兩者之間有什麼因果關係。 又比如，從1998到2007被診斷出的自閉症患者與有機食物的銷售具有相關性(都呈急速上升趨勢)，但是這種相關性本身不會告訴我們飲食和自閉症的關係。

大資料只能是輔助工具

第二，大資料可以輔助科學調查，但不可能成功地完全代替。 比如，分子生物學家很想從潛在的DNA序列中推斷出蛋白質的三維結構，有一些科學家已經在用大資料來解決這個難題。 但是沒有任何科學家認為你可以完全依靠處理資料來解決這個難題，不論這個資料分析是多麼的強有力，你依舊需要基於對物理和生物化學的理解上來處理這些資料。

基於大資料的工具易造假

第三，基於大資料的很多工具很容易造假。 批改學生作文的大資料程式通常依賴于句子長度和用詞的複雜性，資料表明這和老師批改的分數很相關。 但是一旦學生知道這個程式如何運作，他們就開始寫一些長句子並用晦澀的詞語而不是去學會如何規範清晰的表達，組成連貫的篇章。 甚至谷歌的著名的搜尋引擎，這個通常被認為成功的大資料案例也不能免于資訊繁雜，無用的搜尋結果，一些人為的原因使得一些搜尋結果排在前面(搜索廣告)。

通過大資料下結論是有風險的

第四，即便大資料的結果沒有人為地造假，但是它看上去也不那麼有效。 比如谷歌預測流感的案例曾經是大資料的典範。 2009年，谷歌通過相當大的宣傳稱它可以通過分析與流感相關的搜索預測流感爆發的趨勢，這種準確性和快速甚至超過了疾病控制和預防中心等官方機構。 但是幾年後，谷歌宣稱的流感預測並沒有得到好的結果，最近兩年，它做的更多地是不准的預測。

最近一篇《科學雜誌》的文章解釋道，谷歌流感預測的失敗很大程度上是因為谷歌搜尋引擎自己在不斷的更新，這個時候收集的資料未必能夠適用于下一個時候收集的資料。 正如統計學家馮啟思(《資料統治世界》的作者)所說的，依賴于網站的大資料收集常常把一些用不同方法、有不同目的資料整合起來，有時候這會產生負面的影響。 從這樣的資料樣本得出結論是需要冒風險的。

大資料的智慧應用會導致錯誤被加強

第五個需要注意的就是「惡性循環」,這也是因為大量的資料都來自于網路。 不論何時，大資料分析的資訊源本身就是一種大資料產品，這很可能會導致惡性循環。 谷歌翻譯等翻譯程式是從不同語言中抽取相似的文本去辨別這些語言的翻譯模式，比如同樣的維琪百科條目有兩種語言。 這是一個很合理的策略，要不是有很多語言並不具有太多相似性，維琪百科自己都可以用谷歌翻譯寫條目。 在這種情況下，任何谷歌翻譯的錯誤都會影響維琪百科，而這又會反映到谷歌翻譯上，使這種錯誤不斷加強。

大資料可能會導致大錯誤

第六個需要擔心的就是太多相關性導致的危險。 如果你在兩個變數中不斷地尋找相關性，那麼你很可能會純粹出於偶然發現虛假的相關性，即便在這些變數中並沒有實際意義的聯繫。 缺乏謹慎的檢查，大資料的量級會擴大這些錯誤。

聽上去科學的解釋未必正確

第七，大資料很容易對那些無法精確的問題給出聽上去很科學的解釋。 比如在過去幾個月，基於維琪百科的資料給人們排名有兩個不同的嘗試：根據歷史重要性或者文化貢獻。 其中一本書叫做《誰更強?歷史人物真實的排名在哪裡》，作者是電腦工程師Steven Skiena 和工程師Charles Ward，另一本叫做《萬神殿》，來自于麻省理工學院媒體實驗室專案。

這些嘗試在某些方面是正確的，耶穌、林肯、莎士比亞確實是極為重要的人物，但是兩者都犯了一些嚴重的錯誤。 《誰更強?》指出法蘭西斯.史考特.凱伊(Francis Scott Key )在歷史上是19世紀最重要的作家，遠遠超過簡·奧斯丁(第78名)和喬治·愛略特(第380名)。 更嚴重的是，兩本書呈現出了利用所謂的精確誤導人，而在本質上是模糊升值無意義的。 大資料可以把任何事都簡化為數位，但是你不應該被這些「科學」的表現愚弄。

罕見事件，大資料不起作用

最後，大資料在分析那些普通事件很在行，但是在分析罕見事件常失敗。 比如，用大資料處理文本的程式如搜尋引擎和翻譯程式，常常依賴于所謂的「三字」：連續三個詞的序列(比如「in a row」)。 可靠的資料資訊可以編制常規的三字模型，正是因為他們常出現，但是現有的資料並沒有多到足夠包括人們可能使用的所有「三字」，因為人們在不斷創造新語言。

隨便挑一個例子，Rob Lowe 最近為報紙寫的書評有九個「三詞序列」比如「dumbed-down escapist fare」，這在谷歌的文本裡從未出現過。 對於這些新鮮詞彙谷歌有很多限制，谷歌將「dumbed-down escapist fare」西安翻譯為德文然後再翻譯為英文，最後出現了這樣一個不合邏輯的詞語「scaled-flight fare.」 Lowe先生的本意和利用大資料的翻譯真是完全不搭邊。

等等，我們幾乎忽略了最後一個問題：炒作。 大資料的支援者宣稱它是革命性的進步。 但是即便是給出大資料的成功例子，比如谷歌流感趨勢的預測，即便有用但對於一些更大的事這些顯得微不足道。 相比19世紀和20世紀的偉大發明比如抗生素，汽車，飛機，大資料所得出的東西實在算不了什麼。

我們需要大資料，毫無疑問。 但是我們也需要更加清醒的認識到，這只是一種每個人都可以分析的重要資源，並不是什麼新技術。

是在討論利用谷歌龐大的搜索資料來預測流感的爆發還是利用通話記錄來預測恐怖活動，又或者是利用航空公司的資料找到買機票的最佳時機，大資料都可以幫上忙。 將現代計算技術和數位時代眾多的資料結合起來，似乎可以解決任何問題——犯罪，公共衛生，用語的變化，約會的危險，只要我們把這些資料利用起來

似乎它的擁護者這樣宣稱。 「在接下來的二十年，」記者派翠克·塔克在他最近的大資料聲明中這樣寫道，「是透明的未來，」「我們可以以一種前所未有的準確度預測未來的諸多領域，甚至包括一些長久以來被認為人類無法干預的領域。 」但大資料其實從來沒有聽上去那麼好。

大資料真的像說的那麼好?毫無疑問大資料確實是一個有價值的工具，並在某些領域產生了至關重要的影響。 比如，幾乎近二十年人工智慧電腦程式的成功，從谷歌的搜尋引擎到IBM的沃森電腦問答系統，都包括了大量資料的處理。 但是正是因為它最近如此受歡迎並得到廣泛應用，我們需要清晰的看待大資料究竟能做什麼和不能做什麼。

我們需要大資料，毫無疑問。 但是我們也需要更加清醒的認識到，這只是一種每個人都可以分析的重要資源，並不是什麼新技術。