一個用 Cumulative Penalty 培訓 L1 正規 Log-linear 型號隨機梯度下降

標籤：

  
       Log-Linear 模型（也叫做最大熵模型）是 NLP 領域中使用最為廣泛的模型之中的一個。其訓練常採用最大似然準則。且為防止過擬合，往往在目標函數中增加（能夠產生稀疏性的） L1 正則。但對於這樣的帶 L1 正則的最大熵模型，直接採用標準的隨機梯度下降法（SGD）會出現效率不高和難以真正產生稀疏性等問題。
       本文為閱讀作者 Yoshimasa Tsuruoka, Jun’chi Tsujii 和 Sophia Ananiadou 的論文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty （2009）後整理的讀書筆記，文中提出了一種基於累積懲處的 SGD 方法。能夠克服上述提到的兩個問題。

作者: peghoty 

出處: http://blog.csdn.net/itplus/article/details/30049501

歡迎轉載/分享, 但一定要註明文章來源.

著作權聲明：本文博主原創文章，部落格，未經同意不得轉載。

一個用 Cumulative Penalty 培訓 L1 正規 Log-linear 型號隨機梯度下降