「東莞遷徙」裡的大資料誤區

　　央視2月9日曝光東莞色情業，一石激起千層浪。 當晚，一套來自「HTTP://www.aliyun.com/zixun/aggregation/12669.html">百度遷徙」大資料分析的網狀圖被熱轉。 該圖簡單而直接地顯示了2月9日晚上10點之前8個小時內從東莞遷出及遷入的十大熱門城市。 雖然原文沒有明確地進行解讀，但在這個時點網友紛紛轉發，心照不宣地認為這就是一張「嫖客小姐逃離圖」。


　　從整個事情的流程來看，這是一個非常經典的大資料的應用案例。 首先結論來源於資料而且資料足夠大，然後用到了大資料的分析方法，當然這個具體的模型和演算法百度幫大家做了，然後用最時尚最酷的視覺化方式展現出來，最後從資料的結果推出了實際想要的結論，一切都那麼完美。


　　這個大資料的例子比起很多教科書上的例子還要好。 從分析的方法來看，邏輯也是非常嚴密的，要研究的方向是央視曝光之後的影響，這個說得專業一些叫做干預分析。 關於影響的可能結果，見仁見智，這個研究選擇了一個公眾非常感興趣的結論，也就是出逃的嫖客的去向。 該研究選擇的方法也很到位，直接利用到了百度的遷徙視覺化檢視，從資料到結論的完整步驟都有了。


　　那麼，在大資料時代，一個嚴密而完善的分析流程是否代表著正確呢？ 這個問題的答案涉及到了大資料的一個非常重要的本質和誤區，並不是用了大資料就一定有結果。


　　實際上，不論是大資料還是小資料，資料分析的本質一定是方法要和假設匹配、模型要和資料匹配。 我們不用說得那麼深奧，就用這個例子的程度來還原一個真正的大資料分析的流程。


　　首先，這個遷徙圖的資料到底是什麼，讀者及「分析師」們真的瞭解了嗎？ 根據百度提供的資料，資料來自于LBS（基於地理位置的服務）開放平臺，我們深入探究一下，實際上是來自移動用戶端。 百度的開發平臺上寫得很清楚，提供了安卓、Symbian和IP定位的介面，簡單點來說，大家通過移動終端來調用百度地圖或者其他基於百度地圖的服務，會被百度記錄下來，然後利用這些資料進行分析。


但真正用來做遷徙圖的資料是什麼？ 百度有直接告訴公眾嗎？ 實際上是沒有的。 利用介面資料，至少有兩種方式來繪製遷徙的圖形，第一種是通過記錄定位的請求，通過每位使用者在不同時間位置的軌跡來定義一個遷徙過程，第二種是通過路徑規劃介面來記錄真實的遷徙起止點。


　　第一種方式的好處是資料量大而且是實際發生的位移，壞處就是很難區分旅途的中點和終點。 第二種方式的好處是起止點非常明晰，壞處是資料量少而且很多資料是未發生的。 其實從已有的資料來看，應該是第一種方式，只是具體的處理細節百度並沒有公佈而已。


　　這種方式深究起來其實問題也很多，比如從武漢到東莞，基本上都要經過咸甯，那麼武漢和咸甯流入東莞的客流量如何計算，需要一個明確的定義，百度自然是有的，公眾自然是不知道的，但是從熱傳的那張圖來看， 武漢和咸甯都是流入東莞的前十名的城市。


　　通過這個例子，我只是想說大多數人認為自己瞭解了大資料中的資料，實際上是沒有了解清楚的，那麼這些資料究竟能得出多強的結論，在百度沒有完全披露其所有細節的時候，大眾是沒有辦法瞭解得很透徹的。


　　任何細節方面的處理方式不同都可能對結論造成很大的影響。 就拿這個簡單的例子來說，百度的這個遷徙地圖並沒有提供足夠的資訊供使用者進行深入的分析，僅僅只是展示一個概貌上的趨勢而已，如果強烈地暗示自己只要是利用到了大資料就一定能得到正確的結論，顯然是不對的。


　　關於資料來源的澄清可能比較複雜，後面的解說就沒那麼複雜了。 我們現在要說的是選擇性樣本的問題。 通過前面資料來源的介紹，不論是否真正的瞭解，至少大家能夠理解這個應用的資料只是一部分樣本，說簡單一點只能代表使用移動終端開啟了百度LBS服務的使用者，說複雜一點還和百度計量的口徑相關。 在任何時候要用統計的方法得出一個結論顯然是針對總體的，只是我們使用樣本進行推斷而已，樣本的代表性如何決定了結論的品質。


在東莞遷徙事件之前，百度的這個應用就已經很有名了，最初當然是因為春運。 關於春運也有個笑話，說某電視臺在火車上問您買到票了嗎，結果得出了所有人都買到票的結論。 這個例子所有人都知道是一個笑話，其實就是選擇性樣本偏差的問題。 回到東莞遷徙的例子，問題同樣存在，只是大家沒有當作一個笑話而已。


　　我們再說另一個更嚴重的問題，同樣從一個笑話開始，有這麼一個研究結論，就是喝牛奶越多越容易得癌症。 這個結論嚇人一跳，但是如果收集各個區域的牛奶消費量和癌症比例的資料，哪怕做一個簡單的圖，也可以看出來確實是正相關的。


　　這裡面的問題是什麼，相信很多人已經看出來了，那就是遺漏了關鍵因素。 一般來說經濟發達的區域牛奶的消費量會比較高，而由於生活節奏和環境污染的原因，癌症的比例也會比較高，也就是說關鍵的因素是區域經濟是否發達，而不是簡單的牛奶消費量和癌症的關係。


　　回到東莞遷徙的例子同樣如此，東莞作為一個GDP排在全國前列的小城市，本來就很不平凡，每年吸引的外地打工人口不是一個小數目。 色情業相關的人口數目其實只是一個很小的比例。 從量綱來看，央視曝光事件對人口遷移的影響不一定能比得上隨機誤差。


　　最後我們再回到資料本身，很多讀者看了前十位城市的排名，但是並沒有仔細看其中的比例數值，就拿遷出城市來說，前三位香港、贛州、郴州比例都在十分之一以上，而其他城市的比例非常小，第十名的漳州只有千分之十九， 那麼糾結于其他的城市實在是沒有意義的。


　　我們再來看前三甲的三個城市，即使截至寫稿時的查詢（2月10日23點），也仍然是前三甲，說明當天的資料排名並不能證明央視的曝光對時間序列進行了顯著的影響。 我們再來看香港、贛州和郴州的遷入資料，前十名居然都沒有東莞，所以說即使這三個城市的遷入資料有什麼不尋常的地方，也不一定是東莞造成的。


　　無論如何，「東莞遷徙」的例子對大資料來說絕對是一個很好的例子，其價值並不在於網傳的結論，而是可以很清楚地解釋一個真正的大資料分析的流程以及平常人們對大資料分析的誤用，大資料分析並不是靈丹妙藥， 無論是什麼分析都要基於科學的方法，否則會對人們產生強烈的誤導，這就得不償失了。