線性神經網路模型與學習演算法__神經網路

線性神經網路類似於感知器，但是線性神經網路的啟用函數是線性，而不是硬轉移函數，因此，線性神經網路的輸出可以是任意值，而感知器的輸出不是0就是1。線性神經網路和感知器一樣只能求解線性可分的問題。因此，線性神經網路的限制和感知器相同。 線性神經元網路模型

線性神經元與感知器神經元具有相似的結構，唯一的不同是線性神經元使用了線性傳遞函數purelin，因此與感知器神經網路不同，線性神經網路的輸出可以是任意的。

線性神經元的輸出可以由以下公式進行計算 y=purelin(v)=purelin(ω→⋅p→+b)=ω→⋅p→+b y = purelin(v) = purelin(\overrightarrow \omega \cdot \overrightarrow p + b) = \overrightarrow \omega \cdot \overrightarrow p + b

當輸出y等於0的時候，可以畫出它們的分界線。位於分界線上面的輸入向量能夠產生大於0的網路輸出，位於分界線下面的輸入向量能產生小於0的網路輸出。因此線性神經元只能逼近一個線性函數，而不能完成逼近非線性函數的計算。其局限性與感知神經網路相同。 線性神經網路的學習演算法

線性神經網路採取的學習規則是Widrow-Hoff學習規則，又稱為最小均放誤差（LMS）學習演算法，它基於負梯度下降的原則來減小網路的訓練誤差。最小均方誤差學習演算法也屬於監督類學習演算法。

假設 pk=(p1,p2,⋯,pR(k)) p_k = (p_1, p_2, \cdots , p_R(k)) 表示網路的輸入向量， dk=(d1(k),d2(k),⋯,dS(k)) d_k = (d_1(k), d_2(k), \cdots , d_S(k)) 表示網路的期望輸出向量， yk=(y1(k),y2(k),⋯,yS(k)) y_k = (y_1(k), y_2(k), \cdots , y_S(k)) 表示網路的實際輸出向量，其中 k=1,2,⋯,m k = 1, 2, \cdots, m 表示輸入向量與對應的期望輸出向量樣本對的數量。LMS學系規則就是要減小這些誤差平方和的均值，定義如下： mse=1m∑k=1me2(k)=1m∑k=1m(d(k)−y(