通過源碼學演算法–AdaBoost (CART): RealAdaBoost.m + tree_node_w.m

tree_node_w.m

代表分類樹的類結構。很簡單，只有5個成員

如果是左樹則只有right_constraint有值，如果是右樹則只有left_constraint有值

實際上在這裡是一個類多用了。

比如一個訓練好的最大深度為3（max_split == 3）的CART 樹有四個節點(node)，每個節點就是該類tree_node_w的一個object，同時每個節點又是一個弱分類器 (weak classifier)

如果循環訓練100次（Max_Iter == 100)，就有100棵CART樹，即400個弱分類器。每個分類器都有對應的權重

function tree_node = tree_node_w(max_split)tree_node.left_constrain  = [];tree_node.right_constrain = [];tree_node.dim             = [];tree_node.max_split       = max_split;tree_node.parent         = [];tree_node = class(tree_node, 'tree_node_w') ;

RealAdaBoost.m

權重分布初始化

  Learners = {};  Weights = [];  distr = ones(1, length(Data)) / length(Data);    final_hyp = zeros(1, length(Data));

循環訓練100次

每次得到一個4節點的CART樹（也就是4個弱分類器）

第一個節點是root，沒有parent。其他3個節點都有parent，最終指回root

用每個弱分類器對訓練資料分類，根據公式計算／調整alpha值

根據該CART樹的最終分類結果調整權重分布distr

歸一化權重分布

for It = 1 : Max_Iter  nodes = train(WeakLrn, Data, Labels, distr);  for i = 1:length(nodes)    curr_tr = nodes{i};    step_out = calc_output(curr_tr, Data);           s1 = sum( (Labels ==  1) .* (step_out) .* distr);    s2 = sum( (Labels == -1) .* (step_out) .* distr);    if(s1 == 0 && s2 == 0)        continue;    end    Alpha = 0.5*log((s1 + eps) / (s2+eps));    Weights(end+1) = Alpha;        Learners{end+1} = curr_tr;        final_hyp = final_hyp + step_out .* Alpha;      end    distr = exp(- 1 * (Labels .* final_hyp));  Z = sum(distr);  distr = distr / Z;  end