大資料技術存在局限 經驗直覺不可或缺

《紐約時報》印刷版30日出版文章稱，大資料將成為人類商業歷史上新的篇章，有望取代想法、範例、組織以及人們思考世界的方式。 但與此同時，經驗和直覺同樣不可或缺。

以下為文章內容摘要：

「大資料重要，直覺也不可或缺。 」這是本月早些時候在麻省理工學院召開的一次業界會議的主題。

麻省理工學院數位商業中心首席科學家安德魯·麥卡菲(Andrew McAfee)稱，大資料將成為人類商業歷史上新的篇章。 該中心另一名教授埃裡克·布林約爾森(Erik Brynjolfsson)稱，大資料將取代想法、範例、組織以及人們思考世界的方式。

這些前衛的預測的前提是：Web流覽記錄、感應器信號、GPS跟蹤和社交網路資訊等資料能夠以前所未有的程度面向衡量和監控人類及設備的行為敞開大門。 通過電腦演算法，可以預測出人類的許多事情，如購物、約會或投票等。

業內專家預計，最終的結果就是：世界變得越來越智慧，企業的工作效率越來越高，消費者獲得的服務品質越來越高，人們所做出的決定也越來越合理。

我之前寫過不少關於大資料的文章，但在2012年底這個特殊的時刻，我想應該是反思、 提問和質疑大資料的時刻。

從商業評估中挖掘實用啟示並非新鮮事物。 100多年前，弗雷德里克·溫斯洛·泰勒(Frederick Winslow Taylor)的名著《科學管理原理》就是大資料的前身。 泰勒的評估工具是碼錶，為員工的每一個行動進行定時和監測。 泰勒及其助手利用這種「時間和動作」研究模式來重新設計最有效的工作方式。

但如果這種方法被過度誇大，就成為了卓別林《摩登時代》(Modern Times)所諷刺的物件。 此後，人們對於這種量化方法的熱情也開始跌宕起伏。

通常，互聯網被大資料宣導者作為成功的資料業務的範例，這其中以谷歌為代表。 而如今，許多大資料技術，如數學模型、預測演算法和人工智慧軟體等已被華爾街所廣泛應用。

在本月的麻省理工學院大會上，當被問及大資料領域一些重大失敗案例時，幾乎沒有人能夠說出這樣的失敗案例。 後來，麻省理工學院斯隆管理學院(Sloan School of Management)教授羅伯特·萊格伯恩(Roberto Rigobon)稱，金融危機毫無疑問影響了資料業務。 他說：「對沖基金在全球都是失敗的。 」

問題是，數學模型是一種簡化。 這種模型源自自然科學，根據物理定律，流體中的粒子行為是可以預測的。

在如此眾多的大資料應用中，一個數學模型通常附帶關於人類行為、興趣和偏好的精確資料。 這種方法在金融等領域的危險性也是有目共睹，美國哥倫亞亞大學金融工程學系主任曼紐爾·德曼(Emanuel Derman)在他的書中《Models. Behaving. Badly》中就詳細闡述了其危險性。

紐約創業公司Media6Degrees首席科學家克勞迪婭·珀利徹(Claudia Perlich)稱：「你可以用資料來欺騙自己，我擔心大資料出現泡沫。 」珀利徹擔心許多人將自己稱為「資料科學家」，但並未做足功課，反而給該領域抹黑。

珀利徹認為，大資料似乎將面臨工作力瓶頸。 她說：「我們的技能提升速度還遠不夠。 」麥肯錫全球學會(McKinsey Global Institute)去年發佈的一份報告顯示，美國需要14萬名至19萬名具有「深度分析」經驗的工作者，以及150萬名更加精通資料的經理人，無論是已退休人士還是已受聘人士。

哈佛商學研客座教授湯瑪斯·達文波特(Thomas H. Davenport)正在寫一本名為《Keeping Up With the Quants》的新書，旨在説明經理人來應對大資料挑戰。 達文波特認為，管理大資料項目目的一個重要部分是要問正確的問題：如何定義問題?你需要哪些資料?來自哪裡?等等。

谷歌調研(Google Research)高級統計師瑞吉兒·查特(Rachel Schutt)稱，如果建模人員能夠思考倫理維度(ethical dimensions)等問題，那就會更好地服務于社會。 查特說：「模型不僅僅是預測，它們還可以讓事情真正發生。 」

模型能夠創建資料科學家所謂的「行為迴圈」(behavioral loop)，如果一個人被提供足夠的資料，都能對自己的行為進行指導。

以Facebook為例，將個人資料上傳到自己的Facebook頁面，Facebook的軟體就會跟蹤你的點擊和搜索。 通過演算法來評估這些資料，然後再提供好友的建議。

但這種通過軟體跟蹤使用者的行為卻引發了隱私擔憂，難道大資料將迎來數位監控的到來?

我個人最大的擔憂是，當前確定我們個人數位世界的演算法過於簡單，不夠智慧。 這也是艾利·帕裡瑟(Eli Pariser)所著《The Filter Bubble: What the Internet Is Hiding From You》所探討的問題之一。

令人鼓舞的是，像珀利徹和查特這些有思想的資料科學家意識到了大資料技術的局限和不足。 他們認為，聽取資料是重要的，但經驗和直覺同樣重要。

在麻省理工學院大會上，查特被問及如何才能成為一名優秀的資料科學家，她說，需要電腦科學和數學技能，擁有好奇心，具有創新意識，以資料和經驗為行動準則。 她說：「我不會把機器神化。 」