Hopfield Nets 學習筆記

標籤：c   class   tar   http   a   int   

最近想學RBM（限制玻爾茲曼機），找來Hinton在coursera上的神經網路課程，首先複習Hopfield 網路吧。

Hopfield Nets with hidden Unit

https://class.coursera.org/neuralnets-2012-001/lecture/125

簡單來說，就是用隱藏節點的狀態來表達輸入節點的資訊，

舉例來說，二維映像裡的一條邊，在三維世界裡可能對應無數條邊，

如果將映像上每一條可能的線段都用一個“2D-Line”單元表示，這些單元就形成了一個集合，且任何一個特定的圖片只能啟用這個集合中一個很小的子集。

如果將情境中每一條可能的3D線段都用一個“3D-Line”單元表示，每一個“2D-Line”單元都可能是很多“3D-Line”單元的投影，我們可以用已被啟用的“2D-Line”單元將其對應的“3D-Line”單元啟用，由於我們一次只能看到一條直線，因此我們讓這些“3D-Line”單元競爭。（圖中紅線表示競爭關係）

 

當兩個“3D-Line”單元表示的直線在三維世界中相交，就讓這兩個單元相互Support對方，也就是在他們之間加入一條串連。

如果他們之間形成了right angle，我們就加入一條強串連。

 

現在我們有了這樣一個網路，它記錄了現實世界中的線段是如何串連的，以及他們是如何投影到映像上的。

給這個網路一個映像，它將形成對這個映像的一個interpretation。

然而，對於一個映像，我們可以有不同的interpretation，（比如對於納克方塊，就可以有兩種理解，納克方塊是個有歧義性的圖，一種詮釋方式是在一個較高位置看透明立方體的俯視圖，另一種詮釋方式是在一個較低位置看透明立方體的仰視圖。）

我們用低的能量狀態來表達一個好的interpretation

 

問題一：如何避免能量函數陷入局部極值

問題二：如何學習節點之間的權值（輸入節點與隱藏節點、隱藏節點與隱藏節點）

 

Using stochastic units to improv search

https://class.coursera.org/neuralnets-2012-001/lecture/127

這堂課，主要講如何通過增加雜訊來避免陷入局部極值。

Hopfield Nets的決策總是使得能量函數減小，這樣就容易陷入局部極小點。

我們可以用隨機雜訊來避免陷入局部極小點，

開始時，加入大量的雜訊，這樣可以很容易的通過能量的屏障(barrier)

然後慢慢減小雜訊，這樣整個系統最終進入一個deep minimun，這個過程就是“類比退火（simulated annealing）”，這個演算法和Hopfield Nets是同一時期提出的。

 

那麼，溫度是怎樣影響轉移機率（transition probability）的呢？

當溫度高時，系統能很容易從局部極小穿過能量屏障，但是跳出deep minimun的機率也較大。