機器學習中的最佳化方法

《機器學習中的最佳化方法》之一：梯度法/最速下降法

0、引言 機器學習中的最佳化問題

機器學習中的model，基本都會有一個object function。通過是最小化object function，來獲得model的參數。

那麼這裡就用到了“最佳化方法”，而且多是“多變數最佳化”。多變數體現在參數多。

當然簡單的模型可以得到解析解（例如線性迴歸,殘差平方最小化），但是更多的模型是無法得到解析解的。

是：線性迴歸的參數估計問題，通過極大似然法匯出了最小二乘法

機器學習的最佳化問題多數是“無約束最佳化問題”，即對自變數的範圍、自變數的相關性等沒有限制，每個自變數（參數）的範圍的實數空間R。

無約束最佳化問題的典型求解方法：

1、下降遞推演算法

2、 一維搜尋

此處只介紹牛頓法。在機器學習中，這一步就是學習效率的確定，機器學習多處理成常數。

牛頓法(Newton)  

3、求多變數函數極值的基本下降法

3.1、最速下降法(梯度法) 

3.2、 Newton法

3.3、阻尼Newton法

參考：

1.http://book.douban.com/subject/1164411/