RBM如何訓練？

標籤：

    RBM（Restricted Boltzman Machine，受限玻爾茲曼機）是深度學習的基礎，雖然原理比較簡單，但實際訓練中用到了很多trick，在參考文獻中，Hinton為我們披露了幾個訓練的細節。

 

    第一，輸入為實值向量：

    當RBM的輸入v是實值向量時，計算隱含層輸出h的公式與二值向量是一致的，即 p(h=1|v) = sigm(b+v*w) ，注意，這個公式給出的是h=1的機率，我們真正得到的隱含層輸出並不是這個機率，而是二值向量h本身，所以需要對這個機率做二值化處理，h = p(h=1|v) > randn(h)。

    在得到了第一輪的隱含層輸出h之後，需要重構第二輪的輸入v‘，因為v‘是實值向量，因此這裡採用的計算公式是 v‘ = N(c+h*w‘) ，注意，這裡得到的不再是p(v‘=1|h)，而是直接計算v‘，因為輸入變數是實值向量，不需要二值化處理。

    最後，我們要計算第二輪的隱含層輸出h‘，所用公式為 p(h‘=1|v‘) = sigm(b+v‘*w)，同上，這裡我們仍然需要做二值化處理，得到真正的h‘。

    以上是理論上的計算過程，但是在真實計算中，Hinton做了細節的處理，主要表現在：1. h是二值化的，2. v‘和h‘都是實值的。對於第一點，Hinton的解釋是為了防止過擬合，對於第二點，Hinton的解釋是為了減少雜訊；

　　第二，輸入為二值向量：

　　根據上面的分析很容易得到，僅列出公式， p(h=1|v) = sigm(b+v*w)，p(v‘=1|h) = sigm(c+h*w‘)，p(h‘=1|v‘) = sigm(b+v‘*w)。

　　同樣，為了防止過擬合、減少雜訊，h是二值化的，而v‘和h‘都是實值的。

　　第三，關於輸出：

　　RBM的輸出都是二值化的向量，並且前一層的輸出即是後一層的輸入。

 

參考文獻：

Krizhevsky A, Hinton G E. Using very deep autoencoders for content-based image retrieval[C]//ESANN. 2011.

RBM如何訓練？