反思K-S指標（KPMG大資料採礦）

標籤：webp   另一個   評估   判斷   這一   統計量   title   如何   對比   

評估信用評級模型，反思K-S指標2015-12-05 KPMG大資料團隊 KPMG大資料採礦

 

“信用評級”的概念聽起來可以十分直截了當。比如一天早上你接到電話，有個熟人跟你借錢，而你將在半睡半醒間迅速做出決定：借，還是不借。在靈光閃現的一秒裡，你或許考慮了對方的脾氣秉性、經濟實力、家庭住址、種種黑白曆史……但最終，你面對的是一道只有兩個選項的單選題，並需要承擔選擇的後果，這就是一種最簡單的“評級”。商業銀行對待申請借貸的客戶也類似。為了控制不良貸款、避免損失，銀行需要提前對客戶進行信用評級。當然，主觀評價客戶缺乏操作性，這時就需要建立某種信用評級模型，利用資料將客戶劃分為“好客戶”和“壞客戶”，即守信客戶和違約客戶。

信用評級模型已經有了五六十年的實踐應用曆史，也在不斷髮展的過程中逐漸建立了相對較全面的評價體系。衡量信用評級模型是否強大的關鍵，是其區分好壞客戶並進行正確排序的能力。根據業內經驗，我們可以通過考察模型對客戶按風險排序的結果與實際發生違約的結果之間的一致性來判斷模型的準確性。在有效情況下，模型會賦予那些容易違約的客戶低評分值，同時賦予那些不易違約的客戶賦予評分值，從而體現模型的區分能力：區分能力越高則說明模型越好，反之則說明模型越差。

根據這一原理，在信用評分模型的評價準則中，K-S統計量由於計算簡便、易於理解，而成為少數幾個被廣泛使用的評價指標之一。本文將介紹K-S統計量及其存在的缺陷，並提出“AUKS統計量”作為一種新的評價標準，希望能為銀行的信用評級業務及其他相關實踐提供新思路。

K-S統計量來源於兩樣本Kolmogorov-Smirnov檢驗，這是一種非參數檢驗，用於檢驗兩個一元機率分布是否相同。K-S統計量度量了兩個分布之間的最大垂直距離，即

兩樣本K-S檢驗主要考察兩個樣本是否服從同一個分布，這一點被借鑒為信用評級模型的評判標準。信用評價模型的輸出結果可認為是事件發生的機率。如果壞客戶預測值的經驗分布顯著區別於好客戶預測值的經驗分布，說明信用評級模型指派給了好客戶和壞客戶顯著不同的估計值。K-S統計量就等於好客戶和壞客戶的的經驗分布間的最大距離。如果兩個分布顯著不同，則可以認為模型的K-S統計量足夠區分申請人是否會成為壞客戶。如所示：

如何評估一個信用評級模型的效果呢？我們必須選擇一個驗證樣本，這個樣本不同於建立模型的建模樣本。和建模樣本一樣，驗證樣本中的一條觀測代表一個客戶，其中的因變數Y和輸入變數X的值都是已知的。在驗證模型的時候，首先會用待檢驗的模型來預測驗證樣本中每一個客戶的或者信用評分。如果以K-S統計量作為模型優劣的評判標準，這個值就可以根據驗證樣本中每個客戶的或者評分計算出來。把這些或者評分從低到高排序，然後等分成若干個組（通常為20組或者10組），每一組都會包含好客戶和壞客戶，因為模型的錯誤分類是不可能避免的，任何一個評分模型不可能給所有的壞客戶絕對的低分所有的好客戶絕對的高分。但是，一個好的模型能夠保證壞客戶的評分相對比較低而好客戶的評分相對比較高，即好的模型能保證有更多的和諧對。中，虛線表示好客戶的的經驗分布，實線表示壞客戶的的經驗分布。兩個經驗分布之間的最大距離就是K-S統計量。K-S統計量的值越大，兩個區別越顯著，評分模型給出的評分越合理。因此，K-S統計量可以作為信用評分模型的評判標準，在實際操作中也較為方便，SAS中的NPAR1WAYProcedure和EM模組及R語言中的基本軟體包stats都可以用來計算該指標。

然而，K-S統計量也存在相當顯著的缺陷。K-S統計量僅僅從一個點來衡量兩個分布的差異，其穩定性必然不足。我們曾設計驗證方案，參考另一個常用指標AUC統計量，對樣本量5960的驗證樣本進行多次抽樣，並用每一個抽取出來的樣本做模型驗證計算K-S統計量和另一常用指標AUC統計量來檢查它們的穩定性。最終，我們發現，K-S統計量的變異係數遠遠大於AUC統計量的變異係數。

要增加穩定性，最好的方法莫過於將距離變為面積，將局部推廣到整體。為此，我們設計了一個新統計量：K-S曲線下的面積（Area under the K-S curve），可以簡寫為AUKS。

當，可以假設，則

與K-S統計量相比，AUKS統計量的優點在於：從整個評分的取範圍而不是一個點來檢驗模型的優劣，具有更好的穩定性，對樣本量的依賴程度相對較低。我們用兩個統計量對評價模型進行了驗證，在類比實驗中，與K-S統計量相比，AUKS統計量始終有更加穩定的均值、更小的標準差和更小的變異係數，作為信用評分模型的評價指標具有更好的穩定性。

在信用評分領域的多年實踐工作中，業內已經創造並總結了一套較為全面的評價標準，這些標準互為補充，大體能保證信用評價模型的應用價值。然而，這些標準、指標和統計量仍存在缺陷，需要我們根據實際情況不斷加以修正、改進，繼續完善這一評價標準體系。相信AUKS統計量將成為一種有價值的新指標。

 

反思K-S指標（KPMG大資料採礦）