Karush-Kuhn-Tucker 最佳化條件 (KKT 條件)

一般地，一個最佳化數學模型能夠表示成下列標準形式：

所謂 Karush-Kuhn-Tucker 最佳化條件，就是指上式的最小點 x* 必須滿足下面的條件：

    KKT最佳化條件是Karush[1939]以及Kuhn和Tucker[1951]先後獨立發表出來的。這組最佳化條件在Kuhn和Tucker發表之後才逐漸受到重視，因此許多書只記載成「Kuhn-Tucker 最佳化條件 (Kuhn-Tucker conditions)」。

    KKT條件第一項是說最優點必須滿足所有等式及不等式限制條件，也就是說最優點必須是一個可行解，這一點自然是毋庸置疑的。第二項表明在最優點 x*， ∇f 必須是 ∇hj和 ∇gk的線性組合，和都叫作拉格朗日乘子。所不同的是不等式限制條件有方向性，所以每一個都必須大於或等於零，而等式限制條件沒有方向性，所以 沒有符號的限制，其符號要視等式限制條件的寫法而定.

    從KKT的幾何意義出發這個定理還是很神奇的：

    f'(x)代表了f在x點增加的方向，而要找f的最小值的那個點就要朝f減小的方向走，也就是f*v < 0的地區，成為下降域；同理，g'(x)代表了g在x增加的方向，而可列區域就是g*v < 0的地區，成為可行域；要取得最優解就要使某點的下降域與可行域交集為空白，也就是f'是g_k'的線性組合了。而g_k必須是有效，即g_k(x)=0，否則其拉氏乘數就要等於0使其其實不發揮作用。