Neural Networks for Machine Learning by Geoffrey Hinton （1～2）

標籤：lan   角度   維度   反饋   訓練   生物   機器學習   線性   height   

機器學習能良好解決的問題

• 識別模式
• 識別異常
• 預測

大腦工作模式

人類有個神經元，每一個包括個權重，頻寬要遠好於工作站。

神經元的不同類型

Linear （線性）神經元 

Binary threshold （二值）神經元 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

\begin{array}{l}z = b + \sum\limits_i^n {{x_i}{w_i}} \\y = \left\{ \begin{array}{l}\begin{array}{*{20}{c}}1&{z \ge 0}\end{array}\\\begin{array}{*{20}{c}}0&{otherwise}\end{array}\end{array} \right.\\\theta = - b\end{array}" >

ReLu(Rectified Linear Units) 神經元

 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

 

Sigmoid 神經元 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

\begin{array}{l}z = b + \sum\limits_i^n {{x_i}{w_i}} \\y = \frac{1}{{1 + {e^{ - z}}}}\end{array}" >

Stochastic binary （隨機二值）神經元 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

\begin{array}{l}z = b + \sum\limits_i^n {{x_i}{w_i}} \\p\left( {s = 1} \right) = \frac{1}{{1 + {e^{ - z}}}}\end{array}" >

學習任務的不同類型

Supervised learning（監督學習）

給定輸入向量。學習怎樣預測輸出向量。

比如：迴歸與聚類。

Reinforcement learning（增強學習）

學習怎樣選擇動作去最大化payoff（收益）。

輸出是一個動作，或者動作的序列。唯一的監督訊號是一個標量反饋。

難度在於反饋在非常大程度上是有延時的，並且一個標量包括的資訊量非常有限。

Unsupervised learning（非監督學習）

發現輸入的良好內在表達形式。

提供輸入的緊湊、低維度資料表達。

由已經學到的特徵來提供輸入的經濟性高維度資料表達。

聚類是極度稀疏的編碼形式。僅僅有一維非零特徵。

神經網路的不同類型

Feed-forward neural networks （前向傳播神經網路）

超過一層隱含層即為深度神經網路。

 

Recurrent networks（迴圈神經網路） 

生物學上更可信。

用RNN能夠給序列進行建模：

等效於很深的網路，每層隱含層相應一個時間片。

隱含層有能力記憶長時間資訊。 

從幾何角度看感知機

Weight-space （權重空間）

每一個權重相應空間一維。

空間每一點相應某個特定權重選擇。

忽略偏置項，每一個訓練樣本能夠視為一個過原點的超平面。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

把全部的訓練樣本都考慮進去，權重的可行解就在一個凸錐裡面了。 

二值神經元做不到的事

同或 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

迴圈簡單模式識別 

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" width="300" >

不論對於模式A或是模式B，每次把整個訓練集跑完時，神經元得到的輸入都是全部權值的4倍。

沒有不論什麼差別。也就無法區分兩者之間的差異了（非迴圈模式能夠識別）。

使用隱藏神經元

線性神經元再多層也是線性，不會添加網路學習能力。

固定輸出的非線性也不夠。

學習隱藏層的權重等效於學習特徵。

歡迎參與討論並關注本部落格和微博以及知乎個人首頁興許內容繼續更新哦~

轉載請您尊重作者的勞動，完整保留上述文字以及文章連結，謝謝您的支援！

Neural Networks for Machine Learning by Geoffrey Hinton （1～2）