機器學習中的演算法(1)-決策樹模型組合之隨機森林與GBDT。
決策樹這種演算法有著很多良好的特性,比如說訓練時間複雜度較低,預測的過程比較快速,模型容易展示(容易將得到的決策樹做成圖片展示出來)等。 但是同時,單決策樹又有一些不好的地方,比如說容易over-fitting,雖然有一些方法,如剪枝可以減少這種情況,但是還是不夠的。
模型組合(比如說有Boosting,Bagging等)與決策樹相關的演算法比較多,這些演算法最終的結果是生成N(可能會有幾百棵以上)棵樹,這樣可以大大的減少單決策樹帶來的毛病,有點類似于三個臭皮匠等於一個諸葛亮的做法, 雖然這幾百棵決策樹中的每一棵都很簡單(相對於C4.5這種單決策樹來說),但是他們組合起來確是很強大。
在最近幾年的paper上,如iccv這種重量級的會議,iccv 09年的裡面有不少的文章都是與Boosting與隨機森林相關的。 模型組合+決策樹相關的演算法有兩種比較基本的形式 - 隨機森林與GBDT((Gradient Boost Decision Tree),其他的比較新的模型組合+決策樹的演算法都是來自這兩種演算法的延伸。 本文主要側重于GBDT,對於隨機森林只是大概提提,因為它相對比較簡單。
在看本文之前,建議先看看機器學習與數學(3)與其中引用的論文,本文中的GBDT主要基於此,而隨機森林相對比較獨立。
基礎內容:
這裡只是準備簡單談談基礎的內容,主要參考一下別人的文章,對於隨機森林與GBDT,有兩個地方比較重要,首先是information gain,其次是決策樹。 這裡特別推薦Andrew Moore大牛的Decision Trees Tutorial,與Information Gain Tutorial。 Moore的Data Mining Tutorial系列非常贊,看懂了上面說的兩個內容之後的文章才能繼續讀下去。
決策樹實際上是將空間用超平面進行劃分的一種方法,每次分割的時候,都將當前的空間一分為二,比如說下面的決策樹:
就是將空間劃分成下面的樣子:
這樣使得每一個葉子節點都是在空間中的一個不相交的區域,在進行決策的時候,會根據輸入樣本每一維feature的值,一步一步往下,最後使得樣本落入N個區域中的一個(假設有N個葉子節點)
隨機森林(Random Forest):
隨機森林是一個最近比較火的演算法,它有很多的優點:
在資料集上表現良好 在當前的很多資料集上,相對其他演算法有著很大的優勢 它能夠處理很高維度(feature很多)的資料,並且不用做特徵選取 在訓練完後,它能夠給出哪些feature比較重要 在創建隨機森林的時候, 對generlization error使用的是無偏估計 訓練速度快 在訓練過程中,能夠檢測到feature間的互相影響 容易做成並行化方法 實現比較簡單
隨機森林顧名思義,是用隨機的方式建立一個森林,森林裡面有很多的決策樹組成,隨機森林的每一棵決策樹之間是沒有關聯的。 在得到森林之後,當有一個新的輸入樣本進入的時候,就讓森林中的每一棵決策樹分別進行一下判斷,看看這個樣本應該屬於哪一類(對於分類演算法),然後看看哪一類被選擇最多,就預測這個樣本為那一類。
在建立每一棵決策樹的過程中,有兩點需要注意 - 採樣與完全分裂。 首先是兩個隨機採樣的過程,random forest對輸入的資料要進行行、列的採樣。 對於行採樣,採用有放回的方式,也就是在採樣得到的樣本集合中,可能有重複的樣本。 假設輸入樣本為N個,那麼採樣的樣本也為N個。 這樣使得在訓練的時候,每一棵樹的輸入樣本都不是全部的樣本,使得相對不容易出現over-fitting。 然後進行列採樣,從M個feature中,選擇m個(m << M)。 之後就是對採樣之後的資料使用完全分裂的方式建立出決策樹,這樣決策樹的某一個葉子節點要麼是無法繼續分裂的,要麼裡面的所有樣本的都是指向的同一個分類。 一般很多的決策樹演算法都一個重要的步驟 - 剪枝,但是這裡不這樣幹,由於之前的兩個隨機採樣的過程保證了隨機性,所以就算不剪枝,也不會出現over-fitting。
按這種演算法得到的隨機森林中的每一棵都是很弱的,但是大家組合起來就很厲害了。 我覺得可以這樣比喻隨機森林演算法:每一棵決策樹就是一個精通于某一個窄領域的專家(因為我們從M個feature中選擇m讓每一棵決策樹進行學習),這樣在隨機森林中就有了很多個精通不同領域的專家,對一個新的問題(新的輸入資料), 可以用不同的角度去看待它,最終由各個專家,投票得到結果。
隨機森林的過程請參考Mahout的random forest 。 這個頁面上寫的比較清楚了,其中可能不明白的就是Information Gain,可以看看之前推薦過的Moore的頁面。
Gradient Boost Decision Tree:
GBDT是一個應用很廣泛的演算法,可以用來做分類、回歸。 在很多的資料上都有不錯的效果。 GBDT這個演算法還有一些其他的名字,比如說MART(Multiple Additive Regression Tree),GBRT(Gradient Boost Regression Tree),Tree Net等, 其實它們都是一個東西(參考自wikipedia – Gradient Boosting),發明者是Friedman
Gradient Boost其實是一個框架,裡面可以套入很多不同的演算法,可以參考一下機器學習與數學(3)中的講解。 Boost是"提升"的意思,一般Boosting演算法都是一個反覆運算的過程,每一次新的訓練都是為了改進上一次的結果。
原始的Boost演算法是在演算法開始的時候,為每一個樣本賦上一個權重值,初始的時候,大家都是一樣重要的。 在每一步訓練中得到的模型,會使得資料點的估計有對有錯,我們就在每一步結束後,增加分錯的點的權重,減少分對的點的權重,這樣使得某些點如果老是被分錯,那麼就會被「嚴重關注」,也就被賦上一個很高的權重。 然後等進行了N次反覆運算(由使用者指定),將會得到N個簡單的分類器(basic learner),然後我們將它們組合起來(比如說可以對它們進行加權、或者讓它們進行投票等),得到一個最終的模型。
而Gradient Boost與傳統的Boost的區別是,每一次的計算是為了減少上一次的殘差(residual),而為了消除殘差,我們可以在殘差減少的梯度(Gradient)方向上建立一個新的模型。 所以說,在Gradient Boost中,每個新的模型的簡歷是為了使得之前模型的殘差往梯度方向減少,與傳統Boost對正確、錯誤的樣本進行加權有著很大的區別。
在分類問題中,有一個很重要的內容叫做Multi-Class Logistic,也就是多分類的Logistic問題,它適用于那些類別數>2的問題,並且在分類結果中, 樣本x不是一定只屬於某一個類可以得到樣本x分別屬於多個類的概率(也可以說樣本x的估計y符合某一個幾何分佈),這實際上是屬於Generalized Linear Model中討論的內容,這裡就先不談了, 以後有機會再用一個專門的章節去做吧。 這裡就用一個結論:如果一個分類問題符合幾何分佈,那麼就可以用Logistic變換來進行之後的運算。
假設對於一個樣本x,它可能屬於K個分類,其估計值分別為F1(x)... FK(x),Logistic變換如下,logistic變換是一個平滑且將資料正常化(使得向量的長度為1)的過程,結果為屬於類別k的概率pk(x),
對於Logistic變換後的結果,損失函數為:
其中,yk為輸入的樣本資料的估計值,當一個樣本x屬於類別k時,yk = 1,否則yk = 0。
將Logistic變換的式子帶入損失函數,並且對其求導,可以得到損失函數的梯度:
上面說的比較抽象,下面舉個例子:
假設輸入資料x可能屬於5個分類(分別為1,2,3,4,5),訓練資料中,x屬於類別3,則y = (0, 0, 1, 0, 0),假設模型估計得到的F(x) = (0, 0.3, 0.6, 0, 0),則經過Logistic變換後的資料p(x) = (0.16,0.21,0.29,0.16,0.16),y - p得到梯度g:(-0.16, -0.21, 0.71, -0.16, -0.16)。 觀察這裡可以得到一個比較有意思的結論:
假設gk為樣本當某一維(某一個分類)上的梯度:
gk>0時,越大表示其在這一維上的概率p(x)越應該提高,比如說上面的第三維的概率為0.29,就應該提高,屬於應該往「正確的方向」前進
越小表示這個估計越「準確」
gk<0時,越小,負得越多表示在這一維上的概率應該降低,比如說第二維0.21就應該得到降低。 屬於應該朝著「錯誤的反方向」前進
越大,負得越少表示這個估計越「不錯誤 」
總的來說,對於一個樣本,最理想的梯度是越接近0的梯度。 所以,我們要能夠讓函數的估計值能夠使得梯度往反方向移動(>0的維度上,往負方向移動,<0的維度上,往正方向移動)最終使得梯度儘量=0),並且該演算法在會嚴重關注那些梯度比較大的樣本,跟Boost的意思類似。
得到梯度之後,就是如何讓梯度減少了。 這裡是用的一個反覆運算+決策樹的方法,當初始化的時候,隨便給出一個估計函數F(x)(可以讓F(x)是一個隨機的值,也可以讓F(x)=0),然後之後每反覆運算一步就根據當前每一個樣本的梯度的情況,建立一棵決策樹。 就讓函數往梯度的反方向前進,最終使得反覆運算N步後,梯度越小。
這裡建立的決策樹和普通的決策樹不太一樣,首先,這個決策樹是一個葉子節點數J固定的,當生成了J個節點後,就不再生成新的節點了。
演算法的流程如下:(參考自treeBoost論文)
0. 表示給定一個初始值
1. 表示建立M棵決策樹(反覆運算M次)
2. 表示對函數估計值F(x)進行Logistic變換
3. 表示對於K個分類進行下面的操作(其實這個for迴圈也可以理解為向量的操作,每一個樣本點xi都對應了K種可能的分類yi,所以yi, F(xi), p(xi)都是一個K維的向量,這樣或許容易理解一點)
4. 表示求得殘差減少的梯度方向
5. 表示根據每一個樣本點x,與其殘差減少的梯度方向,得到一棵由J個葉子節點組成的決策樹
6. 為當決策樹建立完成後,通過這個公式,可以得到每一個葉子節點的增益(這個增益在預測的時候用的)
每個增益的組成其實也是一個K維的向量,表示如果在決策樹預測的過程中,如果某一個樣本點掉入了這個葉子節點,則其對應的K個分類的值是多少。 比如說,GBDT得到了三棵決策樹,一個樣本點在預測的時候,也會掉入3個葉子節點上,其增益分別為(假設為3分類的問題):
(0.5, 0.8, 0.1), (0.2, 0.6, 0.3), (0.4, 0.3, 0.3),那麼這樣最終得到的分類為第二個,因為選擇分類2的決策樹是最多的。
7. 的意思為,將當前得到的決策樹與之前的那些決策樹合併起來,作為新的一個模型(跟6中所舉的例子差不多)
GBDT的演算法大概就講到這裡了,希望能夠彌補一下上一篇文章中沒有說清楚的部分:)
實現:
看明白了演算法,就需要去實現一下,或者看看別人實現的代碼,這裡推薦一下wikipedia中的gradient boosting頁面,下面就有一些開源軟體中的一些實現,比如說下面這個:HTTP:// elf-project.sourceforge.net/