最佳化演算法——擬牛頓法之L-BFGS演算法

標籤：最佳化演算法   bfgs   l-bfgs   

一、BFGS演算法

    在“最佳化演算法——擬牛頓法之BFGS演算法”中，我們得到了BFGS演算法的校正公式：

利用Sherman-Morrison公式可對上式進行變換，得到

令，則得到：

二、BGFS演算法存在的問題

    在BFGS演算法中，每次都要儲存近似Hesse矩陣，在高維資料時，儲存浪費很多的儲存空間，而在實際的運算過程中，我們需要的是搜尋方向，因此出現了L-BFGS演算法，是對BFGS演算法的一種改進演算法。在L-BFGS演算法中，只儲存最近的次迭代資訊，以降低資料的儲存空間。

三、L-BFGS演算法思路

    令，，則BFGS演算法中的可以表示為：

若在初始時，假定初始的矩陣，則我們可以得到：

若此時，只保留最近的步：

這樣在L-BFGS演算法中，不再儲存完整的，而是儲存向量序列和，需要矩陣時，使用向量序列和計算就可以得到，而向量序列和也不是所有都要儲存，只要儲存最新的步向量即可。

四、L-BFGS演算法中的方向的計算方法

最佳化演算法——擬牛頓法之L-BFGS演算法