梯度檢驗！

標籤：

梯度檢驗是在編寫機器學習演算法時必備的技術，可以檢驗所編寫的cost函數是否正確

cost函數的主要功能是：計算代價函數、計算代價函數對參數的梯度

• 實際程式中，梯度檢驗要配合cost函數一起使用

   ① 給定一組樣本及參數初始值

   ② 利用costFunction Computegrad

   ③ 利用computeNumericalGradientFunction Compute梯度的近似值numGrad

   ④ 比較grad和numGrad是否比較相近：如果diff小於1e-6，則cost函數是正確的，否則，需要檢查cost函數

       diff = norm(numGrad-grad)/norm(numGrad+grad);
       disp(diff);

• 在確定cost函數沒有問題後，要屏蔽掉梯度檢驗部分的代碼，否則，將會浪費許多時間

 

梯度檢驗！