大資料：從因果分析到相關性分析

大資料已經不再是計算、統計學科的專寵，商學院開始的廣泛應用，表明大資料正式進入各行業的廣泛應用。 統計學家納特·西爾弗在著名的《信號和雜訊》一書中說：「大資料中大多數都是不相干的噪音。 除非有很好的技術資訊進行過濾和處理，否則將惹上麻煩。 」

杜克大學富卡商學院今年秋季開始招收大資料商業分析方向的碩士生，西安交通大學管理學院也將錄取海外大資料分析的博士生作為新錄取教職人員的重點之一。 大資料已經不再是計算、統計學科的專寵，商學院開始的廣泛應用，表明大資料正式進入各行業的廣泛應用。

統計學家納特·西爾弗在著名的《信號和雜訊》(Nate Silver, The Signal and the Noise)一書中說：「大資料中大多數都是不相干的噪音。 除非有很好的技術資訊進行過濾和處理，否則將惹上麻煩。 」也就是說，大資料為我們提供了觀察世界的新方式，但它往往還是類似原油粗糙的形式，沒有商學院的提煉與應用，它就無法變成汽油、膠粘劑、阿司匹林，唇膏等各種現代工業產品。 對於大資料來說，我們今天的時代，就像是德州剛發現油田的時代，它在資訊時代的廣泛應用與消費，需要各個學科的通力協作、更換思維，正如石油的發現催生工業時代的能源革命一樣。

從因果分析到相關性分析

在「前資訊時代」，商學院分析消費者行為、市場結構、競爭動態、組織行為、供應鏈管理時，都局限于有限的樣本。 因為收集消費者、員工、股票、工廠等的資料都非常耗時，需要承擔各種成本。 即使像IBM這樣的巨型公司，有能力將《人民日報》歷年的文本輸入電腦，試圖破譯中文的語言結構，例如實現中文的語音輸入或者中英互譯，這項技術在上世紀90年代就取得突破，但進展緩慢，在應用中還是有很多問題。

谷歌採取了不同的方法進入這個市場，它不是依賴高品質的翻譯，而是利用更多的資料。 這家搜索巨頭收集各種企業網站的翻譯、歐盟的每一種語言的文本、巨大的圖書掃描專案中的翻譯檔。 超越IBM以百萬級的文本分析，谷歌的大資料是以十億萬級計的。 其結果是，它的翻譯品質優於IBM，能涵蓋65種語言，而且翻譯品質在雲端不斷優化。 谷歌淩亂的大資料戰勝了IBM少量的乾淨資料。

那怎樣將淩亂的大資料進行對石油一樣的提煉與應用呢?一項重要的思維轉換就是從傳統的因果分析向相關性分析轉換。 在傳統的統計分析中，一個重要的因素是因果關係的可靠性，在有限的樣本下，科學家在假設檢驗中往往用各種專業統計軟體進行假設檢驗，根據概率P值(P-Value, Probability)進行檢驗決策。 P值反映某一事件發生的可能性大小，一般以P < 0.05 為顯著，從而確認兩個變數間可能存在因果關係。

但大資料的出現改變了這種在科學界普遍追求的因果關係的檢驗。 大資料主要從相關性著手，而不是因果關係，這從本質上改變了傳統資料的開採模式。 例如2009年2月，谷歌的研究人員在《自然》發表了一篇論文，預測季節性流感的暴發，在醫療保健界引起了轟動。 谷歌對2003年和2008年間的5000萬最常搜索的詞條進行大資料「訓練」， 試圖發現某些搜索詞條的地理位置是否與美國流感疾病預防和控制中心的資料相關。 疾病預防控制中心往往跟蹤全國各地的醫院和診所病人，但它發佈的資訊往往會滯後1～2個星期，但谷歌的大資料卻是發現即時的趨勢。

谷歌並沒有直接推斷哪些查詢詞條是最好的指標。 相反，為了測試這些檢索詞條， 谷歌總共處理了4.5億個不同的數位模型，將得出的預測與2007年和2008年疾病預防控制中心記錄的實際流感病例進行對比後，谷歌公司發現，它們的大資料處理結果發現了45條檢索詞條的組合，一旦將它們用於一個數學模型，它們的預測與官方資料的相關性高 達97%。

資料往往都是不完美的，拼寫錯誤和不完整短語很普遍。 為什麼谷歌可以實現這麼精准的預測?如果從因果關係看，是因為人感到不舒服，或聽到別人打噴嚏，或者閱讀了相關的新聞後感到焦慮嗎?谷歌不是從這種因果關係去考慮，而是從相關性的角度，去預測一個持續發展的大方向， 因為大眾的搜索詞條處於不斷變化之中，外界的一個蝴蝶翅膀的扇動，就會使搜索發生系統的、混沌的變化。

英國華威商學院的研究人員與波士頓大學物理系的研究人員合作，同樣通過谷歌趨勢(Google Trends)服務，預測股市的漲跌。 研究人員使用谷歌趨勢共計追蹤了98個搜索關鍵字，其中包括「債務」、「股票」、「投資組合」、「失業」、「市場」等與投資行為相關的詞，也包括「生活方式」、「藝術」、「快樂」、「戰爭」、「衝突」、「政治」等與投資無關的關鍵字， 發現有些詞條，例如「債務」成為預測股市的主要關鍵字，這篇題為《使用谷歌趨勢量化金融市場的交易行為》(Quantifying Trading Behavior in Financial Markets Using Google Trends)的論文也發表在《自然》雜誌上。 同樣，2010年，美國印第安那大學的研究人員也發現：Twitter使用者的情緒有助於預測股市。 今年諾貝爾經濟學獎獲得者羅伯特·席勒所宣導的「動物精神」，在大資料的相關性檢驗下，可以對資產定價實現預測。

當然，谷歌的演算法並不是百試百靈，例如，今年早些時候的「谷歌流感趨勢」曾經顯示，有10%的美國人可能患上了流感。 但美國疾病控制和預防中心的資料卻顯示，峰值只有6%左右(參見圖示)。 經過研究發現，原來這是因為谷歌的演算法未能充分考慮一些新的外部影響因素所致。 例如，媒體對流感的報導增多和社交媒體對流感的討論增加，都會對該服務的資料和統計資訊產生影響。 流感新聞大爆炸很大程度上改變了人們的搜索詞條。 這使人聯想到物理學中經典的「測不准原理」。 物理學家玻爾認為在量子理論中，任何對原子體系的觀測，都會涉及所觀測物件在觀測過程中的改變，和谷歌的演算法一樣，我們自身的行為可能也在谷歌的觀測中改變，因此不可能對量子有單一的定義， 也不可能對谷歌預測的趨勢用平常所謂的因果性去理解。

大資料與中國哲學

當大資料佔據我們這個資訊社會的中心舞臺，我們需要一種新的思維方式理解這個世界。 傳統知識觀中的因果律遭到極大的挑戰，而相關性則讓我們從對過去的理解，解放出對未來的預測。

從知識論的角度看，大資料像量子力學一樣，説明我們進入宇宙的大尺度結構。 或許中國古典哲學中的「氣運」觀能夠讓我們更容易地理解大資料所揭示的新世界。 錢穆在《中國思想通俗講座》中闡述道：氣是如何演變出宇宙萬物的呢?氣是能動的、不安靜的，在聚散，在分合......「聚而和者為氣之陽，稱為‘陽氣’。 分而散者為氣之陰，稱之為‘陰氣’。 」這一陰一陽，就是中國人所謂的道。 一切的氣數與運道都可以在陰陽迴圈、消長中體現出來。 在沒有大資料的工業時代，陰陽觀無法像西方哲學那樣解釋直線的因果關係，可能與迷信、神秘主義聯繫在一起。 而大資料的興起，使人類第一次有了直接的工具來衡量陰陽的變化、預測氣運的消漲。 陰陽五行之說，可以直接在谷歌演算法的各種反覆運算相生相剋出來。 如果席勒所說的「動物精神」理論真的可以預測奧地利學派的經濟迴圈週期，大資料所揭示的陰陽迴圈，或許可以説明人類提早對下一次全球經濟危機做好準備。

從更廣的層面說，如果每一個平民都能自由接觸到大資料的分析(而不是政府壟斷)，一個全新的思考方式就是，資料不再是《1984》世界中冰冷的老大哥控制的機器，每個人都可以將自己個體的因素沉浸在系統中，影響系統的方向與決策， 人的各種因素：風險、意外、熱愛、冷酷，甚至錯誤，都可以在大資料中的陰陽變化中體現出來。 人類的各種自覺、創造也可以通過大資料進行更快地實驗、更多的探索。 人類靈感產生的各種火花第一次可以通過大資料多方面多層次爆發出來，這將是個美麗的新世界——人類的創造力可以在大資料中充分得到精彩的發現!

對市場行銷者來說，大資料是個無盡的寶藏。 人類的各個層面、各種環境的影響，例如如天氣變化和市場情緒的變化，都可以在對廣告的分析中展現出來，使用者的畫像將會即時展現得無比真實、如何分配和優化媒體投資，如何設計產品屬性、如何精准地定位...... 一個無比強大的工具將改變商業的許多決策。

但大資料能否取代創業家呢?360、小米、微信、QQ等產品雖然可能得益于大資料驅動的使用者畫像與產品迴圈反覆運算，但創業家的靈感、承擔風險的勇氣、對市場的敏感與觸覺，還有那麼一點點的天時地利中的運氣，則變得更加重要， 因為對資料的提煉、應用、解讀、判斷的各個環節，都對人類的想像力，提供了永恆的挑戰。

　　盡人力，知天命，天下之大，其興其亡，盡在大資料的宇宙中。 或許杜克大學的資料分析碩士也應該選修點中國哲學。