boosting與bagging理解

標籤：

作為整合學習的二個方法，其實bagging和boosting的實現比較容易理解，但是理論證明比較費力。下面首先介紹這兩種方法。

所謂的整合學習，就是用多重或多個弱分類器結合為一個強分類器，從而達到提升分類方法效果。嚴格來說，整合學習並不算是一種分類器，而是一種分類器結合的方法。

1.bagging

bagging算是很基礎的整合學習的方法，他的提出是為了增強分類器效果，但是在處理不平衡問題上卻有很好的效果。

 

如，未經處理資料集通過T次隨機採樣，得到T個與未經處理資料集相同大小的子資料集，分別訓練得到T個弱分類器Classifier，然後結合為一個強分類器。

以下給出隨機採樣的機率解釋及效果分析：

採用的是機率論裡面的booststrap思想，由於小樣本估計的不準確性，再加上現代計算效能的提升，可以用重複的計算提升小樣本的精度。

原始小樣本不能正確反映資料的真實分布，用T次隨機採樣擬合真實分布。

下式為L次分類得到的強分類器等於L次估計的期望：

下式為真實的y與每個弱分類器之間的差異，展開後得到右邊：

下式表示，最後得到弱分類器的差異會大於統計平均得到的強分類器的差異，簡而言之就是通過強分類，更好地擬合了。

上面得到的結果就是，如果未經處理資料為真實分布的前提下，用bagging整合分類器，始終是能提升效果的，提升的效果取決於分類器的穩定性，穩定性越差，提升的效果越高。如神經網路這樣的不穩定分類器。

當然，上面假設是資料接近真實分布，然後在機率[1/N,1/N,.....1/N]下重採樣。

如果訓練資料不是真實分布，那麼bagging的效果也可能比非bagging更差。

接下來是如何把L個弱分類器整合為強分類器：

最簡單的方法就是投票法（vote）。對於一個測試樣本，通過L個弱分類器得到L個類別資訊，這些資訊投票產生最後的類別。如L=10，分類結果分別為：[3,3,3,3，5,5,6,7,1,8.]

那麼這個樣本就屬於3.

2.boosting

類似於bagging整合學習，boosting也是通過重採樣得到多個弱分類器，最後得到一個強分類器。區別是boosting是基於權值的弱分類器整合。

上面為boosting的流程圖，簡要概括如下：

1.e表示某個弱分類器的錯誤分類率，計算用來作為這個分類器的可信度權值a,以及更新採樣權值D。

2.D表示未經處理資料的權值矩陣，用來隨機採樣。剛開始每個樣本的採樣機率都一樣，為1/m。在某個弱分類器分類時，分類錯誤或對，則D就會根據e相應地增加或減少，那麼分錯的樣本由於D增大，在下一次分類採樣時被採樣的機率增加了，從而提高上次錯分樣本下次分對的機率。

3.α為弱分類器的可信度，bagging中隱含的α為1，boosting中，根據每個弱分類器的表現（e較低），決定這個分類器的結果在總的結果中所佔的權重，分類準的自然占較多的權重。

最後根據可信度α，以及各個弱分類器的估計h（x）,得到最後的結果。

如為boosting的流程圖，主要為兩個部分，更新採樣權值D和計算分類器權重α，前者使得原來分錯的樣本再下一個分類器中能夠有較大的幾率出現，從而提高原來分錯樣本之後分對的機率；後者根據分類器的表現，賦予不同弱分類器不同權值，最後得到一個加權的強分類器。

boosting機率上的效果證明這裡略去，只引出一個結論，不斷地迭代更新能使得最終的結果無限接近最優分類，不過boosting會傾向於一直分錯的樣本，如果樣本中有離群的錯誤樣本，boosting就會出現效果不好的情況。

總結上面討論了兩個整合學習的方法，bagging和boosting，boosting有點像bagging的改進版本，加入了權值採樣和權重強分類的概念。都是通過重採樣和弱分類器融合實現的方法。

boosting與bagging理解