關於KKT條件在約束邊界的物理意義的思考

標籤：style   blog   http   ar   sp   strong   on   2014   問題   

學習筆記性質的博文，隨時發現錯誤和疏漏隨時修改。

對於有不等式約束的拉格朗日對偶問題，KKT條件可以總結成：約束條件（原始約束和引入拉格朗日乘子後的約束）、對x偏導為0、對偶互補條件

進一步可以理解為：

①對於無約束的變數偏導為0

②對於有約束的變數，在約束邊界偏導可以不為0，不在約束邊界偏導必為0

其中，不在約束邊界的情況提供了函數值的伸縮性，使其取值為一個空間而不是一個點。

對偶互補條件就是對②的數學描述：

其中是原始約束。

對偶互補條件的在約束邊界的物理意義：

當不位於原始邊界時，它在各個方向是“自由”的，若此時他的偏導不為0，那麼它沿著原始問題中的負梯度方向移動時，可取的函數值變小，那麼就不可能是解。所以，當不在約束邊界時，它必須在極值點上，即：小於0時必為0

當位於原始邊界，即等於0時，它在邊界上的移動不會改變函數值，所以它的偏導取合適的值來進一步減小函數值，即它的偏導可取大於0的值。

通過物理意義來理解KKT在邊界的行為，會顯得比較直觀。

由此，SVM中的硬間隔最大化可由物理意義來直觀的理解：

硬間隔最大化問題中，不等式約束為點的函數距離大於等於1。位於間隔邊界的點（支援向量），相當於位於約束邊界，他們的偏導可以不為0。而位於間隔邊界之後的點，它們不在約束邊界上，此時要想使間隔最大化，必須使的偏導為0，否則在負梯度方向上尋找必能找到更優解。

對於SVM的軟間隔最大化，由於支援向量不光是間隔邊界上的點，還包括間隔平面之間的點，此時鬆弛變數的偏導同時也由懲罰參數決定，鬆弛變數的偏導的符號轉換為與的大小關係。通過分析，以下結論不難得到：

參考資料：《統計學習方法》李航

關於KKT條件在約束邊界的物理意義的思考