GBDT（Gradient Boosted Decision Tree）

GBDT，全稱Gradient Boosted Decision Tree，是一個由多棵決策樹組成的模型，可用於分類，迴歸。

GBDT的由來 通俗的理解方式 數學表達 GBDT的優劣勢

GBDT的由來 決策樹是常見的模型之一，它通過啟發學習法搜尋的方法來尋找劃分特徵的區間（劃分特徵向量的空間），劃分的依據有好幾種，比如資訊增益，基尼指數之類的。 決策樹常見的一個問題就是過擬合（當然，這是所有模型都會出現的一個問題，這是在決策樹中更為常見），對於目前的訓練資料，到底樹的深度要有多少呢，太少的話則資料的區分度不夠，太大的話則會導致過擬合。由於這些參數沒辦法通過具體的數學理論求覺，所以，在對決策樹調參的時候，經常會有這樣的疑惑：樹的深度到底多少比較好，葉子個數一共多少才適合。 僅有一顆決策樹做決策是否會顯得太單薄，有沒有辦法通過多棵決策樹來決策呢。類似地，有了隨機森林這種依靠多棵決策樹以及ada boosting這種糅合多種分類器的策略來提升分類以及迴歸的效果。
這個情況下，GBDT產生了。 通俗的理解方式 首先來瞭解下殘差的定義，GBDT都是基於這個來建立的 ŷ =y−predict(x)，y \hat{y}=y-predict(x)，y是我們要預測的label值， predict(x) predict(x)是決策樹的預測值，殘差的定義是模型預測值和真實值的差值 一次走一大步的最佳化效果不如很多次一小步的最佳化 現在我們最佳化到了藍色的點，如果我們每次迭代的步子太大的話，會一下子進入另一個曲面，會導致模型無法收斂。總體而言，一次的大最佳化可能會帶來模型無法收斂，但是小最佳化的話只是會導致收斂速度的下降。 GBDT的總體思想就是以上兩者的結合，現在我的決策樹預測不準，沒關係。我先不處理，我把剩下的殘差留給下一顆樹來處理。這一點和adaboost不同，後者是說我這部分資料預測不準，我增加這部分資料的權重，下一個模型著重關注這部分資料。 總的來說，GBDT把當前的決策樹森林未解決的問題（殘差）留給了下一顆樹，以此迭代下去，最終整個模型的預測結果就是每棵決策樹的總和。 數學表達

符號說明： F(i) F(i)表示第i輪迭代之後得到的模型， f(i) f(i)表示第i棵決策樹的預測結果 第一步：初始化。訓練第一棵決策樹，得到 f(1) f(1)，由於現在的只有一棵樹，所以 F(1)=f(1) F(1)=f(1) 第二步：殘差計算。根據現在的模型 F(1) F(1)我們可以計算當前的預測值 (F(x1),F(x2),F(x3),...F(xn)) (F(x_1),F(x_2),F(x_3),...F(x_n))，根據上面的描述，我們來計算殘差可以得到 (ŷ 1,ŷ 2,ŷ 3...ŷ n) (\hat{y}_1,\hat{y}_2,\hat{y}_3...\hat{y}_n) 第三步：增加新的決策樹。現在第二棵決策樹的擬合目標要做些改動了，不再是以擬合label為目標了，而是擬合之前遺留的殘差為目標（特徵集合還是不變的，只是擬合的目標改動了）。 第四步：更新模型。現在我們得到了一棵新的決策樹，這時候，我們上面提到的第二個思想來了：我們漸漸地靠近最優值，而不是一下子到達，所以我們這樣子更新模型的： F(2)=F(1)+a∗f(2),a(0,1)