一個文科教授眼中的大資料：多、快、糙、耗

用現在的網路語言，我是一個文科男。 最近莫言在接受諾貝爾獎時說了一句話，文學不是科學，文學是做無用的東西。 我想說明一下文學不等於文科，文科的面更廣，可以進一步分為人文學科和社會科學。 社會科學研究歷來與資料打交道，當然以前用的都是小資料，數量少、速度慢、耗工時，但是品質好、也省資源，符合現在的綠色理念。 我根據長年研究小資料的經驗出發，講講對大資料的一些看法，其實也是社會科學界的一些共識。 讀者看完後也許會同意，文科(或者社會科學)與科學一樣，做的東西也是有用的。

眼下大資料正是大熱。 我做了個小統計，SCI/SSCI期刊上已發表270篇有關大資料的研究論文，大部分是最近一兩年內出現的。 其中來自電腦科學和工程技術的最多，分別占了27%;其次是醫學生物化學(20%)和基礎研究的數學、物理等(11%);最少的是工商管理(8%)和社會科學(7%)。 我涉及的就是最後這15%的研究。

我有幸加入了中國電腦學會最近成立的大資料專家委員會，也參與了委員會對大資料研究的一些熱點問題和發展趨勢的評選工作。 按照我的理解，最近委員會發佈的對大資料研究的八個熱點問題和十大趨勢，應該是全球範圍內至今最系統的一些看法和表述。 當然美國和歐洲的各個機構、商業、學術團體都有一些非常精闢、精彩的看法，但從全面性講這可能是第一個檔。

大資料這個概念在受到關注的同時，也出現了很多批評的意見。 也許大家都見過這一條報導，Sybase的技術總裁Irfan Khan認為，「大資料是一個大謊話」。 Sybase是做一家資料庫的公司，長期為企業做BI應用工具。 他們一直在做大資料的工作，所以覺得現在講的大資料中的所有東西早已有之，不是什麼新的東西。 他從這個角度講大資料有點泡沫，有點誇張。 當然，我們做實證研究的人並不完全認同他的說法，大資料的宣傳中確實有些地方有點誇大，但沒有誇大到虛假謊言的地步。

什麼是大資料?最流行的定義是4個V: Volume, Velocity, Variety, Value。 我覺得這4個V大致與中文裡的「多、快、好、省」四個字相對應。 這四個字當中，有些是理論上應該實現的、有些實際上已經展現出來了、但有些現在還有差距。 大資料是不是真的多、快、好、省?我下面逐一談談。

大資料之「多」

大資料首先就是資料多。 這一點大家講的很多，似乎沒有什麼分歧。 其實不儘然。 關鍵在於我們用的是總體資料、樣本資料、還是局部資料。 什麼是總體資料?大家都明白。 最直觀的例子就是每10年中國和其他很多國家都要對全體居民進行人口普查，其結果就是總體資料。 中國最近一次的人口普查在2010年，發現有13.8億人。 樣本資料也不難理解，通過抽樣獲得。 如人口統計，除了每10年的普查，國家人口中心每年還要做千分之二的抽樣調查，用得到的樣本資料來估計每10年兩次人口普查之間中國人口增長的變化。 局部資料呢，則是總體資料的一個子集，但不是通過隨機方法從總體中抽出來的，而是用各種便利或現存的方法得到的。 局部資料往往比樣本資料大很多，但兩者有嚴格的區別。

這些都是常識。 我們來看看大資料的情況。 理論上講大資料指的應該就是總體資料。 但實際上，由於技術、商業、保密和其它原因，除了少數大資料的原始擁有者(例如淘寶、新浪微博、國家電網、教育網等，他們也許是真正掌握了總體資料的)，對於絕大多數的協力廠商來講，現在大家講的大資料， 基本上都不是總體資料而是局部資料。 注意，這種局部資料，哪怕占了總體的很大一個百分比(70%、80%)，既不是總體資料、也不是抽樣資料。 因為哪怕是缺了10%、20%的個案，局部資料跟總體也許就有很大的差別。

三種資料中，如果只考慮品質、不計成本、效率等其它因素，總體資料最靠譜，其次是樣本資料、最不靠譜的是局部資料。 我相信很多工科男並不認同最後這句話。 在我們看來，樣本資料雖然規模要小很多，但實際上在很多情況下比局部資料要更有價值，更可靠。 圖一是我做的一個類比，隨機產生了一萬個數值(藍色)，姑且把它當作是總體。 我從中隨機抽了500個值(紅色)，這個樣本看上去很稀疏(即誤差大、不夠精確)，但是它對總體的代表是很好的，即在X和Y軸上的平均數都與總體相同，都在原點上。 我再抽8000個值(即總體80%)的局部資料(綠色)，人為的設定一些限制，使得正面數值更容易出現，結果緊密的多(即誤差小了)，但其平均數往右上方向偏，即精確但不准確。 如果依靠局部資料，被局部資料的海量規模所迷惑，其實是害死人的。

歷史上有過很多案例，顯示了局部資料大而無當。 社會科學研究方法中，一般都會講到是美國1936年的總統選舉。 當時有兩家公司在做選舉預測。 一家是《文學摘要》雜誌，隨著雜誌給讀者寄問卷，回收了250萬份問卷。 當時全美選民大概是1億左右，250萬已經是相當大的一個局部資料了。 他們經過分析，預測共和黨藍頓比民主黨羅斯福領先14%，以絕對優勢當選。 另外有一家是蓋洛普民意測驗中心，那時只是剛起步的一個小公司，用隨機抽樣的方法調查了5萬人，預測將是羅斯福以56%的得票率當選。 最後選舉結果羅斯福戰勝藍頓，也即蓋洛普的小樣本戰勝了《文學摘要》的大局部資料。 因為當時訂購雜誌的人更有錢，所以對共和黨更支援。 資料只是大而不具有代表性，後果更差。

資料的資訊量，一方面是由個案多少決定的，另一方面是由變數(即個案的特徵值)多少覺得的。 社會科學家們用的資料是個案少、變數多。 理想中的大資料，不僅要個案多，而且要變數多。 我瞭解的現實生活中的大資料僅僅是個案多，變數並不多，與我們社會科學家的小資料正好相反。 個案多、變數少的資料結構是我們面臨的大資料的基本現實。 造成的原因之一就是每人只掌握了一小部分變數，也就是所謂的資料孤島。 只有通過分享、整合才能產生多個案、多變數的真正的大資料。

大資料之「快」

現在對大資料的處理方法，以單位速度計，肯定是快。 但是，光講效率不講效果是沒有意思的。 我還是用社會科學研究作為慢的例子和現在的大資料的一些基本方法來做比較。 我們做的都是手工標注，大資料主要是自動分類。 從規模上是沒辦法比的，我們一般一個樣本只有幾千個，現在幾百萬是小資料的，成百上千億才是常態的。 從準確率來講，人工永遠超過機器的。 有人統計過，我自己觀察到，機器學習的準確率平均差不多在80%左右，當然也有些做自然語言處理、人工智慧的會說某一個特定的專案能做到90%。 但是如果把所有的研究都拿來平均一下，80%也許是比較樂觀的記錄。 人工情況下基本能做到90%、95%，一般社會科學的學術期刊不接受準確率低於95%的論文。

另一個問題是你怎麼知道準確率?我們的一般方法是對同樣的內容有兩個或者更多的人分別獨立(即背靠背、互不知情)的進行標注，最後計算相互的相似度，來估計準確率。 而大資料的處理，如果是全自動無監督的學習，其結果的準確率其實是無法知道的。 現在大家都在抓網上內容做預測，到底預測准不准，也許永遠是一個未知數。 從誤差來講，人工判斷有誤差，但這些誤差都是個人誤差，如果有幾個人同時做的話，其誤差可以互相抵消。 機器學習的誤差是系統性的，如果你知道偏在哪兒，可以很容易的就把它改過來，但誤差偏在什麼地方一般是不知道。 這就是我剛才講的，局部資料問題在系統誤差，到底是往左偏，還是往右偏，偏高了還是偏低了並不知道。 所以，按照我們的看法，人工處理的小樣本資料，研究結果是準確的，但是不夠精確，即不夠穩定。 機器學習的方法倒過來，因為你有海量的資料，非常精准。 其實精准這個詞從英文裡面是precision，只有精確的意思而沒有準確(correct或accurate)的意思。 精而不准是目前大資料的一個問題。 大家很自然的會想到，我們需要把人工標注和自動分類結合起來，做有監督的機器學習。 機器學習的品質是由訓練集的品質、訓練集的規模和學習的演算法三方面決定的，而這三者的重要性就是按照這個順序排的，最重要的是訓練集的品質，也即人工標注的品質。

大資料之「省」

這裡的問題是省了人工，還是省了能源?大資料肯定省了人工，但同時在耗能。 這是一個環保的大問題，我不展開講，實際上大資料是驚人的耗電。 如果現在才開始規劃，不注意的話，也許幾年以後大資料就成為一個新的污染重工業。 我聽說某些地方在建大資料中心，搞幾百萬台伺服器。 我們可以想像得到其所耗用的能源和所產生的輻射，是非常可怕的。 實際上現在的各種資料每年遞增的速度遠遠超過我們現在存儲能力的遞增速度。 在這種情況下，除非我們的存儲材料有突破，不然我們必須要想好一個問題，真的能夠把總體資料保存下來嗎?中國聯通的資料只能保存4個月，然後必須刪除以保存新資料。 我認為出路還是在抽樣，把大資料變小。

大資料之「好」

大資料一定比小資料好嗎?這個問題是所有問題的核心，現在還沒有答案的。 我認為以下幾個問題值得考慮。 第一，大資料是好，但是大資料在哪裡?如果我們拿不到大資料，就是一個櫥窗裡面的蛋糕，只能在外面觀賞。 我們可以把大資料分成幾種，小規模、中型規模、巨型規模。 小規模的資料非常多，免費就可以得到。 中規模資料在大部分情況下也是免費的或者是低成本的。 真正巨型規模的大資料其實是得不到的。 做應用也好，做工具服務的也好，都必須面對這一現實。

第二是我們真的有處理和分析大資料的能力嗎?我認為現在的大資料分析工具並不發達，現在所用到的絕大部分工具都是用來解決小資料問題的，用來解決常態資料的。 對異態資料的統計工具，現在基本上沒有。 最近《科學》雜誌發表的一篇文章中報告了用於大資料兩元相關分析的一種方法。 學過統計的都知道，小資料的兩元相關分析是一百多年前就有了的。 也就是說，我們處理大資料的能力還是處在起步的階段，相當於19世紀80年代的小資料水準。 當然，我們肯定不需要再用120年的時間才能使大資料分析能力達到今天小資料的水準。 但是，我們必須對大資料分析能力的現狀有客觀和足夠的認識。

總之，我對大資料的看法即不是完全樂觀的，也不是完全悲觀的。 大資料肯定代表了一個新世紀、新紀元的到來。 大資料的潛在價值也是客觀存在的。 但是資料的應用、資料的分享，其實還是有很多問題的。 資料的存儲與分析，其實還是剛剛開始。 現在是商業和社會應用遠遠走在了科學研究的前面。 有志于大資料研究的科學家、社會科學家們要努力趕上。