Coursera Machine Learning 學習筆記（十二）

標籤：machine learning

- Normal equation

       到目前為止，線性迴歸問題中都在使用梯度下降演算法，但對於某些線性迴歸問題，正規方程方法是更好的解決方案。

       正規方程就是通過求解如下方程來解析的找出使得代價函數最小的參數：

      

       假設我們的訓練集特徵矩陣為X，我們的訓練集結果為向量y，則利用正規方程解出向量：

      

       以下表所示的資料為例：

      

       運用正規方程方法求解參數為：

      

       注意：對於那些無法復原的矩陣（通常是因為特徵之間相互不獨立，如同時包含英尺為單位的尺寸和米為單位的尺寸兩個特徵，或者是因為特徵數量大於訓練集的數量），正規方程的方法是停用。

       梯度下降與正規方程的比較如下所示：

      

      



Coursera Machine Learning 學習筆記（十二）