避免大資料分析的思維陷阱

大資料分析可以追溯到30年前， 那時在資料分析界， 人們認為資料分析的工具和演算法已經可以HTTP://www.aliyun.com/zixun/aggregation/10221.html">深度分析出任何東西， 所欠缺的就是資料量。 資料分析師們的說法就是， 如果你能夠讓我測量一切資料， 追蹤一切資料， 從微觀的精確到分鐘的銷售， 精確到每個人的資源消耗，到宏觀的變數如利率的變化等， 我就能夠告訴你想知道的一切， 這些變數之間的相關性， 它們的變化趨勢等等一切的一切。

這種說法一直是主流資料分析界的看法。 到了今天， 資料量已經不成問題了。 互聯網的幾乎能夠找到你需要的任何資料。 想要知道賓夕法尼亞州的工業清洗設備的銷售與該州的鋼鐵廠的設備使用的關係? 沒問題， 想要提高使用者滿意度? 可以把使用者投訴資料採用聚類演算法進行聚類。 你動動滑鼠， 很多資料就能夠找到了。

大資料的「羅生門」

好了， 現在的問題， 已經不是資料不夠的問題了。 分析師不能再說「我的分析方法沒問題， 只要有足夠的資料。 」如今， 資料的豐富程度已經足以滿足任何分析方法的需要。 相反， 分析師需要考慮的是「什麼樣的分析方法最合適」以及「這些資料到底能告訴我們什麼」。

這很自然地帶來了另一個問題， 這個問題可能是大資料帶來的真正問題。 那就是：現有的資料， 多的可以讓你想要分析出什麼結果， 就能分析出什麼結果。

有一句話叫做：「這個世界上有兩種謊言， 第一種叫謊言， 第二種叫統計」。 我們的大腦有一種無與倫比的能力， 那就是發現規律的能力(即便是其實沒有規律)。

達頓商學院的教授曾經在班上做過這樣一個實驗：他找了兩個學生， 其中一個學生， 用亂數產生器 生成一個數列， 數列裡的每個數， 都是1 到10 之間的一個隨機整數。 另一個學生， 則寫同樣長度的一個數列， 數列中的每個數， 這個學生可以隨機地寫從1到10 之間的一個整數。 教授讓第三個學生， 把這兩個學生生成的數列給他看。 他幾乎每次都能正確地判斷出那個數列是真的亂數列， 哪個數列是人工寫的。 那些看上去有規律， 或者常有連續重複數位的， 是亂數列。 而人工寫成的數列， 則儘量避免出現規律性或者重複性。 為什麼呢? 因為我們總潛意識裡， 會認為有規律性或者重複性的東西， 一定有它的原因， 就不可能是隨機的。 因此， 當我們看到任何有點規律的模式時， 我們就會認為一定有一些非隨機的因素。

這種潛意識其實來自于我們在自然界的生存本能。 當你看到草叢晃動的時候， 你寧可認為是有一隻老虎在那邊， 也比認為是「隨機的」 風吹的， 而最後跳出一隻老虎來強。

用「小實驗」來驗證「大資料」

如何才能避免掉入這樣的認知陷阱呢? 可以採用達頓商學院教授Jeanne Liedtka所提倡的「小規模實驗」的方式。 「小規模實驗」與「大資料採礦」的區別在於， 「小規模實驗」是特別設計來驗證那些憑藉分析工具(或者在分析工具説明下的想像力)所「發現」的規律的正確性。 設計小規模試驗的關鍵， 就是用實例去驗證你發現的規律。 如果驗證結果是正確的話， 那麼規律或模式的可信度就提高了。

為什麼要「小規模」呢?因為， 在海量資料加上分析工具， 可以讓我們去發現無數的規律和模式， 而對每個規律或模式去驗證會投入資源(時間以及金錢)。 通過把實驗資料量的規模減小， 我們就可以更快更有效地驗證更多的可能性。 這樣也就能夠加快企業的創新過程。

如何進行「小規模實驗」， 要根據具體情況看。 一般來說， 實驗會採用大資料分析所用的資料集。 從中取出一部分子集進行分析， 發現的規律， 通過另一部分資料子集進行驗證， 如果規律在驗證資料子集中也存在的話， 再利用大資料資料集採集的方式採集新的資料， 進一步進行驗證。

保險公司Progressive Insurance以及信用卡公司Capital One是兩個利用資料分析成功取得競爭優勢的公司。 在他們的實踐中， 他們就很好地採用了這樣的「大資料, 小實驗」的方式， 他們意識到我們天生的那種發現「並不存在的」規律的能力的危險性， 因此，他們利用小規模試驗的方式， 從而使得他們能夠快速有效地進行資料採礦。

海量資料加上分析工具， 使得資料分析現在是一個很熱的話題。 很多企業認為資料分析師能夠「點石成金」。 但是，常言道: 「人們看到的是他們想要看到的東西。 」 今天， 我們有了海量資料和能「發現任何規律」的分析工具後， 還是不能忘記那個最古老的辦法——用小規模的實驗去驗證。 否則的話， 幾百萬上千萬美元的大資料投資， 可能發現的只是我們想像出來的「規律」。

(責任編輯：施柏鵬)