Deep Learning for Nature Language Processing --- 第四講（下）

標籤：自然語言處理

A note on matrix implementations將J對softmax的權重W和每個word vector進行求導：

盡量使用矩陣運算（向量化），不要使用for loop。模型訓練中有兩個開銷比較大的運算：矩陣乘法f=Wx和指數函數exp

Softmax(=logistic regression) is not very powerfulsoftmax只是在原來的向量空間中給出了一些linear decision boundary（線性決策線），在小的資料集上有很好的regularization，但是在處理大資料集的時候會受到很大的限制。

但是neural network能夠很好地克服softmax的缺點：

From logistic regression to neural nets不單獨介紹神經網路，可以參考其他介紹神經網路的文章如果沒有非線性啟用函數，那麼輸入x後，第一層就是W1*x，第二層就是W2*W1*x，等同於這個神經網路只有一層，權重為W2*W1。有更多的層，deep learning就可以有近似（分類）更複雜資料集的功能：

神經網路的單層single layer就是一個線性運算式和一個非線性函數的組合：

激勵activation可以用來計算某個函數，例如在softmax中：

樣本：計算三層神經網路中一個window’ score（s=score(museumsinParisareamazing)）：

score其實就是softmax的機率值

下一講訓練一個window-based的神經網路反向傳播backpropagation

Deep Learning for Nature Language Processing --- 第四講（下）