大資料泡沫時代：是時候對大資料回歸理性了

大資料時代來臨，社會對資料人才的理解和評價存在泡沫，是時候需要回歸到理性。 從智聯網的招聘資訊看到，很多公司招聘高級資料分析，都特別提出類似的要求：熟練使用SAS、SPSS、R等工具。 這些軟體都是統計軟體，裡面的演算法都是上個世紀不懂公司業務的人弄出來的。 既然是統計領域的知識，為什麼特別強調這部分知識呢?其他知識重要性都較輕嗎?公司不需要?

很多公司招高級資料分析如此，阿裡巴巴資料分析專家盧輝寫的書也有類似的問題。 很多人都有光環效應(他們認為由於阿裡的資料厲害，所以阿裡的資料分析專家寫的都是對的，其實阿裡發展好，是整個團隊多年努力出來的)。 目前開始有些相對聰明的人慢慢從這個泡沫中從模糊中感覺到不妥，而我本身就是讀統計的，由於敢於說真話讓我先後被兩個中國新聞人物器重和教導。 經驗不是一篇文章就能說清楚，我這裡只說說我對阿裡巴巴資料分析專家盧輝著的書《資料採礦與資料化運營實戰》，下文簡稱盧書的一些看法，希望推動社會對資料人員的認識更理性。

筆者去年年底看了盧書，有些地方跟筆者有共識，但是書上也有很多問題。

先舉個例子，大家都知道同樣頭暈，病根可能是不同的，所以學醫的學生全部科目都要學，實習要全部科室都走一趟。 如果醫生知識面不夠廣的話，就容易誤診。 如果你同意上面例子的話，那麼統計方面，知識面不夠廣就會有問題，這結論大家就能理解了。

例如盧書第17頁提到「資料採礦很多時候並不需要特別專業的統計背景作為必要條件，不過需要強調的是基本的統計知識和技能是必需的」。 什麼才算基本?懂法律才算最基本吧?統計法規定統計的職權是調查、報告、監督看出，國家強調的是調查，不是統計分析。 而第2章提到統計分析與資料採礦的差異以及書後面介紹的內容，看出盧書作者對統計的認識只停留是統計分析上。 這樣有什麼問題呢?

第6章資料採礦專案完整應用案例演示，提到某公司存在使用者流失的情況，大家都很自然想到調查原因，有些原因可以通過分析日誌記錄的使用者行為資料就能知道大概的問題，也可能公司並沒有相關的資料，需要做調查，包含市場調查或業務調查。 不論是否有相關的使用者行為資料，都屬於統計這個大範圍內。

但是盧書在第6章提到的方法，浪費大量人力物力，卻沒得到大家真正關心的答案。 書仲介紹的做法是：「本案例主要集中是3個方面：1、模型投入應用後提前鎖定有高流失風險的高活躍使用者群體;2、可以將建模過程中發現的有價值的，最可能影響流失的重要欄位和指標選擇性地提供給運營方;3、 針對影響流失的核心指標和欄位，可以提供給業務方，作為輔助線索。 」也就是花了很多的時間和人力成本卻沒直接回答流失原因，對於沒有相關的資料，不懂調查也不想做調查的人就說這不是他們的工作範圍。

另外，盧書封面寫「以業務為核心，以思路為重點，以挖掘技術為輔佐」，這點筆者同意，但是書中內容多處違背這個道理。 例如按照「以業務為核心，以思路為重點」的說法，業務分析和報告應該是具有邏輯性，可讀性。 但是盧書中第17頁提到「神經網路挖掘技術，它裡面的隱蔽層就是一個黑箱，沒有人能在所有的情況下讀懂」 「在實踐應用中，這種情況常會讓習慣統計分析公式的分析師或者業務人員感到困惑」「只要模型能正確預測客戶行為」「營業單位、 運營部門不了解技術細節，又有何不可呢?」 按照「以業務為核心，以思路為重點」的說法，計算不符合業務邏輯的情況是應該選擇其他方法去實現，但盧書採用了「以挖掘技術為主，思路為輔」的做法，以只要能正確預測使用者行為試圖讓大家覺得這樣做可行。 試想如果黑箱演算法預測的結果出了問題，容易查問題和解決嗎?

面對著業務人員對他們使用的計算不理解時，盧書第59頁提到的做法是「業務團隊」「應該具備」「能理解資料分析師的分析報告」。 這再一次為上一個說不清的問題找了個藉口。 真正以「以業務為核心，以思路為重點」的做法，是要求資料分析師的報告要讓業務團隊的人看得懂。 統計法規定統計的職權是調查、報告、監督。 報告最起碼就是要讓別人看得懂，有可讀性。 盧書把這個邏輯顛倒了。 強調使用SAS、SPSS、R等工具進行分析的資料分析師、資料採礦，他們做的報告也偏向于盧書提到的情況，甚至乾脆不寫報告。

資料分析、資料採礦是這幾年才新興的職位，他們使用的只是統計知識中很少一部分的內容加上互聯網需要的知識，但是統計的其他知識都沒用嗎?社會對資料人員的評價高還是對統計的評價高?統計局做人口調查應該是家喻戶曉的常識， 為什麼很多資料人員不願意提，甚至希望與調查劃清界線。 面試過很多公司的資料分析，他們都說自己很喜歡統計，當深入問的時候，原來他們只喜歡資料分析那部分工作，這反映社會現狀和教育問題了。 他們只做了統計工作中，報告職能裡面資料分析的工作而已，但是要求社會給予的報酬只是統計的小部分嗎?目前社會對哪個的評價更高呢?

調查有多辛苦，你懂的。 文章為作者獨立觀點，不代表虎嗅網立場

本文由jensen111授權虎嗅網發表，並經虎嗅網編 輯。 轉載此文章須經作者同意，並請附上出處（虎嗅網）及本頁連結。 原文連結HTTP://www.huxiu.com/article/38285 /1.html 向作者提問 加入文集