大資料分析老鳥送給菜鳥學弟們的經驗之談

本文作者：吳宇川

&HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp;     以下是我在近三年做各類計量和統計分析過程中感受最深的東西，或能對大家有所説明。 當然，它不是ABC的教程，也不是細緻的資料分析方法介紹，它只 是「總結」和「體會」。 由於我所學所做均甚雜，我也不是學統計、數學出身的，故本文沒有主線，只有碎片，且文中內容僅為個人觀點，許多論斷沒有數學證明，望統計、計量大牛輕拍。

關於軟體

對於我個人而言，所用的資料分析套裝軟體括EXCEL、SPSS、STATA、EVIEWS。 在分析前期可以使用EXCEL進行資料清洗、資料結構調 整、複雜的新變數計算（包括邏輯計算）；在後期呈現美觀的圖表時，它的製圖製表功能更是無可取代的利器；但需要說明的是，EXCEL畢竟只是辦公軟體，它 的作用大多局限在對資料本身進行的操作，而非複雜的統計和計量分析，而且，當樣本量達到「萬」以上級別時，EXCEL的運行速度有時會讓人抓狂。

SPSS是擅長於處理截面資料的傻瓜統計軟體。

首先，它是專業的統計軟體，對「萬」甚至「十萬」樣本量級別的資料集都能應付自如；

其次，它是統計軟體而非專業的計量軟體，因此它的強項在於資料清洗、描述統計、假設檢驗（T、F、卡方、方差齊性、正態性、信效度等檢驗）、多元統計分析（因數、聚類、判別、偏相關等）和一些常用的計量分析（初、 中級計量教科書裡提到的計量分析基本都能實現），對於複雜的、前沿的計量分析無能為力；

第三，SPSS主要用於 分析截面資料，在時序和麵板資料處理方面功能了了；

最後，SPSS相容功能表化和程式設計化操作，是名副其實的傻瓜軟體。

STATA 與EVIEWS都是我偏好的計量軟體。 前者完全程式設計化操作，後者相容功能表化和程式設計化操作；雖然兩款軟體都能做簡單的描述統計，但是較之 SPSS差了許多；STATA與EVIEWS都是計量軟體，高級的計量分析能夠在這兩個軟體裡得到實現；STATA的擴充性較好， 我們可以上網找自己需要 的命令檔（.ado檔），不斷擴展其應用，但EVIEWS就只能等著軟體升級了；另外，對於時序資料的處理，EVIEWS較強。

綜上，各款軟體有自己的強項和弱項，用什麼軟體取決於資料本身的屬性及分析方法。 EXCEL適用于處理小樣本資料，SPSS、 STATA、EVIEWS可以處理較大的樣本；EXCEL、SPSS適合做資料清洗、新變數計算等分析前準備性工作，而STATA、EVIEWS在這方面 較差；製圖製表用EXCEL ；對截面資料進行統計分析用SPSS，簡單的計量分析SPSS、STATA、EVIEWS可以實現，高級的計量分析用 STATA、EVIEWS，時序分析用EVIEWS。

關於因果性

做統計或計量，我認為最難也最頭疼的就是進行因果性判斷。 假如你有A、B兩個變數的資料，你怎麼知道哪個變數是因（引數），哪個變數是果（因變數）？

早期，人們通過觀察原因和結果之間的表面聯繫進行因果推論，比如恒常會合、時間順序。 但是，人們漸漸認識到多次的共同出現和共同缺失可能是因果關係，也可能是由共同的原因或其他因素造成的。 從歸納法的角度來說，如果在有A的情形下出現B，沒有A的情形下就沒有B，那麼A很可能是B的原因，但也可能 是其他未能預料到的因素在起作用，所以，在進行因果判斷時應對大量的事例進行比較，以便提高判斷的可靠性。

有兩種解決因果問題的方案：統計的解決方案和科學的解決方案。 統計的解決方案主要指運用統計和計量回歸的方法對微觀資料進行分析，比較受干預樣本與未接受干預樣本在效果指標（因變數）上的差異。 需要強調的是，利用截面資料進行統計分析，不論是進行均值比較、頻數分析，還是方差分析、相關分析，其結果 只是干預與影響效果之間因果關係成立的必要條件而非充分條件。 類似的，利用截面資料進行計量回歸，所能得到的最多也只是變數間的數量關係；計量模型中哪個變數為因變數哪個變數為引數，完全出於分析者根據其他考慮進行的預設，與計量分析結果沒有關系。 總之，回歸並不意味著因果關係的成立，因果關係的判定或 推斷必須依據經過實踐檢驗的相關理論。 雖然利用截面資料進行因果判斷顯得勉強，但如果研究者掌握了時間序列資料，因果判斷仍有可為，其中最經典的方法就是進行「格蘭傑因果關係檢驗」。 但格蘭傑因果關係檢驗的結論也只是統計意義上的因果性，而不一定是真正的因果關係，況且格蘭傑因果關係檢驗對資料的要求較高 （多期時序資料），因此該方法對截面資料無能為力。 綜上所述，統計、計量分析的結果可以作為真正的因果關係的一種支援，但不能作為肯定或否定因果關係的最終根據。

科學的解決方案主要指實驗法，包括隨機分組實驗和准實驗。 以實驗的方法對干預的效果進行評估，可以對除干預外的其他影響因素加以控制，從而將干預實施後的效果歸因為干預本身，這就解決了因果性的確認問題。

關於實驗

在隨機實驗中，樣本被隨機分成兩組，一組經歷處理條件（進入干預組），另一組接受控制條件（進入對照組），然後比較兩組樣本的效果指標均值是否有差異。 隨機分組使得兩組樣本「同質」，即「分組」、「干預」與樣本的所有自身屬性相互獨立，從而可以通過干預結束時兩個群體在效果指標上的差異來考察實驗處 理的淨效應。 隨機實驗設計方法能夠在最大程度上保證干預組與對照組的相似性，得出的研究結論更具可靠性，更具說服力。 但是這種方法也是備受爭議的——

一是因為它實施難度較大、成本較高；

二是因為在干預的影響評估中，接受干預與否通常並不是隨機發生的；

第三，在社會科學研究領域，完全隨機分配實驗物件的做法會 涉及到研究倫理和道德問題。

鑒於上述原因，利用非亂數據進行的准實驗設計是一個可供選擇的替代方法。 准實驗與隨機實驗區分的標準是前者沒有隨機分配樣本。

通過准實驗對干預的影響效果進行評估，由於樣本接受干預與否並不是隨機發生的，而是人為選擇的，因此對於非亂數據，不能簡單的認為效果指標的差異來源於干預。 在剔除干預因素後，干預組和對照組的本身還可能存在著一些影響效果指標的因素，這些因素對效果指標的作用有可能同干預對效果指標的作用相混 淆。 為了解決這個問題，可以運用統計或計量的方法對除干預因素外的其他可能的影響因素進行控制，或運用匹配的方法調整樣本屬性的不平衡性——在對照組中尋找一個除了干預因素不同之外，其他因素與干預組樣本相同的對照樣本與之配對—— 這可以保證這些影響因素和分組安排獨立。

隨機實驗需要至少兩期的面板資料，並且要求樣本在干預組和對照組隨機分佈，分析方法就是DID（倍差法，或曰雙重差分法）；准實驗分析用截面資料就 能做，不要求樣本在干預組和對照組隨機分佈，分析方法包括DID（需兩期的面板資料）、 PSM（傾向性得分匹配法，需一期的截面資料）和PSM- DID（需兩期的面板資料）。 從準確度角度來說，隨機實驗的準確度高於准實驗和非實驗分析。

關於分析工具的選擇

如果根據理論或邏輯已經預設了變數間的因果關係，那麼就無需使用實驗方法。 我對非實驗資料分析工具的選擇原則如下。

① 因變數為連續變數，引數至少有一個連續變數，進行多元線性回歸；

② 因變數為連續變數，引數全部為分類變數，進行方差分析；

③ 因變數為分類變數，引數至少有一個連續變數，使用Logit模型或Probit模型；

④ 因變數為分類變數，引數全部為分類變數，進行交叉表分析和卡方檢驗；

⑤ 因變數在某個閉區間內分佈，並且有較多樣本落在閉區間的邊界上，使用Tobit模型

⑥ 因變數不唯一，如多產出問題，進行資料包絡分析（DEA）；

⑦ 因變數為整數、數值小、取零個數較多，使用計數（Count）模型；

⑧ 資料具有層次結構（嵌套結構），使用多層線性模型（HLM）。

隨著統計和計量經濟學的發展，各種前沿分析工具層出不窮，但我認為最靠譜的分析工具不外乎以下四種：DID（針對隨機實驗），多元線性回歸，固定效 應變截距模型（FE，針對面板資料）， Logit模型或Probit模型（針對分類因變數資料）。

其他方法或適用條件苛刻，或分析過程折騰，或方法本身不可靠（尤其是聚類分析、判別分析，超級不靠譜），因此能用以上四種方法分析問題時，不必為「炫方法」而瞎折騰。

關於擬合優度、變數選擇原則及估計值絕對大小的意義

在人人的「資料分析」小站中，某同學提出這樣一個問題：「多元迴歸分析中，怎麼選擇引數和因變數，可以使R方達到80%以上？ 」

很顯然，問這個問題的同學要麼沒學好計量，要麼就是犯了功利主義的錯誤，或者二者皆有。 擬合優度的大小很大程度上取決於資料本身的性質。 如果資料是時序資料，只要拿有點相關關係的變數進行回歸就能使擬合優度達到80%以上，但這樣的高R方根本說明不了什麼，很可能使分析者陷入偽回歸的陷阱，嚴謹的做 法當然是做平穩性核對總和協整檢驗；如果是截面資料， 根本沒必要追求R方到80%的程度，一般來說，有個20%、30%就非常大了。

如果一定要增大R方，那麼最應該做的的確是對納入模型的變數進行選擇。 選擇納入模型的原則我認為有三條。

第一，從理論和邏輯出發，將可能影響因變數的變數作為引數納入模型，即理論上或邏輯上能影響因變數的引數必須納入模型，即使該引數的回歸係數不顯著。

第二，歐姆剃刀原則——如無必要，勿增實體，即理論上或邏輯上不能影響因變數的引數不能納入模型，即使該引數的回歸係數顯著。

第三，防止納入具有多重共線性的引數。

前面說了，對截面資料進行計量分析，R方能達到20%、30%是非常了不起的事情。 但是，如果擬合優度（或類似擬合優度的指標）在20%、30%或 更低時，回歸係數只具有定性或定序上的意義，強調其絕對數值的大小沒什麼意義。 譬如lnY=alnA+blnB+...+zlnZ+c回歸的R方為20%，a 為0.375，b為0.224，且二者的T檢驗顯著，那麼我們可以說，A、B對Y有影響，也可以說一百分點的A變化對Y的影響大於一百分點的B變化對Y的 影響（控制其他因素的情況下），但說一百分點的A變化對Y的影響較一百分點的B變化對Y的影響大0.151%，就沒什麼意義了。

其他一些建議或忠告

用心思考變數間的因果關係：是A影響了B還是B影響了A？ A、B之間是否真的有因果關係？ 是否存在C，使C既影響A又影響B，而A、B本身無直接關係？

仔細選擇引數，不要遺漏重要變數，否則會造成內生性問題。 如果遇上了內生性問題，先不要忙著尋找工具變數或使用2SLS，尋找被遺漏的變數才是最 重要的事情。 如果被遺漏的變數即使找到卻囿于各種困難無法納入分析，而你又忽然想到了一個絕佳的工具變數，那麼恭喜你，你可以在核心期刊發文章了！

一定要控制其他可能對因變數產生影響的因素，並認識到對回歸係數和偏相關分析結果的解釋都是建立在「其他條件不變」的情況之下。

看到R方很大時不要忙著高興，如果F檢驗顯著而T檢驗不顯著，很可能存在多重共線性。 看到t值很大時，也不要忙著高興，因為這很可能是偽回歸的產物；如果此時DW值很小（小於0.5），那麼偽回歸的可能性進一步變大。

均值比較雖然簡單卻考驗分析者的嚴謹性。 兩個看似不同的平均數、中位數或比率是否意味著高下有別？ 樣本取自獨立總體還是相關總體？ 方差「齊」或「不齊」？ 比較的是平均數、中位數還是比率差異？

樣本量限制了所能做的分析，小樣本時請珍惜自由度；不要用小於30個樣本的資料進行計量分析（尤其是時序分析）和複雜的統計分析；不要以為能從小於或等於5期的資料中看出什麼「發展趨勢」；不要沒有依據的使用複雜的模型和分析方法 ；不要將一目了然的簡單問題故意複雜化。

最重要的，不要造假！ 不對資料本身造假，也不對分析結果造假！ 資料分析前可以進行一定的清洗，將奇異值去掉，也可以嘗試對未預料到的分析結果進行探討和解釋，但如果去改資料改分析結果，那還有什麼必要進行資料分析呢？ 直接編文章編報告不就得了？ 某些「詭異的」、不合常理的資料分析結果，很可能就是研究最重要的所得。