【模式識別】最小平方誤差判別 MSE

最小平方誤差判別準則函數

對於上一節提出的不等式組：

線上性不可分的情況下，不等式組不可能同時滿足。一種直觀的想法就是，希望求一個a*使被錯分的樣本儘可能少。這種方法通過求解線性不等式組來最小化錯分樣本數目，通常採用搜尋演算法求解。

為了避免求解不等式組，通常轉化為方程組：

矩陣形式為：。方程組的誤差為：，可以求解方程組的最小平方誤差求解，即：

Js(a) 即為最小平方誤差（Minimum Squared-Error，MSE）的準則函數：

準則函數最小化方法

準則函數最小化通常有兩種方法：違逆法，梯度下降法。

偽逆法

Js(a) 在極值出對a的梯度為零，即：

於是，得到，其中是矩陣Y的偽逆。

一個具體的求解樣本如下：

梯度下降法

梯度下降法在每次迭代時按照梯度下降方向更新權向量：

直到滿足或者時停止迭代，ξ是事先確定的誤差靈敏度。

參照感知器演算法中的單步修正法，對MSE也可以採用單樣本修正法來調整權向量：

這種演算法即Widrow-Hoff演算法，也稱作最小均方根演算法或LMS（Least-mean-square algorithm）演算法。

（轉載請註明作者和出處：http://blog.csdn.net/xiaowei_cqu 未經允許請勿用於商業用途）