參數/非參數學習演算法

標籤：size   ext   定義   learning   計算   簡化   步驟   strong   合數   

一、參數學習演算法(parametric learning algorithm)

 

　　定義：假設可以最大程度地簡化學習過程，與此同時也限制可以學習到是什麼，這種演算法簡化成一個已知的函數形式，即通過固定數目的參數來擬合資料的演算法。　

　    參數學習演算法包括兩個步驟：

• 選擇一種目標函數的形式
• 從訓練資料中學習目標函數的係數

　   參數學習演算法的一些常見例子包括：

• Logistic Regression
• LDA（線性判別分析）
• 感知機
• 樸素貝葉斯
• 簡單的神經網路

 

?   參數機器學習演算法的優點：

 

• 簡單：這些演算法很容易理解和解釋結果
• 快速：參數模型可以很快從資料中學習
• 少量的資料：它們不需要太多的訓練資料，甚至可以很好地擬合有缺陷的數

?   參數機器學習演算法的局限性：

• 約束：這些演算法選擇一種函數形式高度低限制模型本身
• 有限的複雜性：這種演算法可能更適合簡單的問題
• 不適合：在實踐中，這些方法不太可能匹配潛在的目標（映射）函數

 

二、非參數學習演算法(non-parametric learning algorithm)

 

　　定義：不對目標函數的形式作出強烈假設的演算法稱為非參數機器學習演算法，通過不做假設，它們可以從訓練資料中自由地學習任何函數形式，即參數數量會隨著訓練樣本數量的增長的演算法。　

　   非參數學習演算法的一些常見例子包括：

• KNN
• 決策樹，比如CART和C4.5
• SVM

?   非參數機器學習演算法的優點：

• 靈活性：擬合大量的不同函數形式
• 能力：關於潛在的函數不需要假設（或者若假設）
• 效能：可以得到用於預測的高效能模型

?   非參數機器學習演算法的局限性：

• 更多的資料：需要更多的訓練資料用於估計目標函數
• 慢：訓練很慢，因為它們常常需要訓練更多的參數
• 過擬合：更多的過度學習訓練資料風險，同時它更難解釋為什麼要做出的具體預測

 

註：

　　局部加權線性迴歸其實是一個非參數學習演算法(non-parametric learning algorithm)；

　　線性迴歸則是一個參數學習演算法(parametric learning algorithm)，因為它的參數是固定不變的，而局部加權線性迴歸的參數是隨著預測點的不同而不同。

　　由於每次預測時都只看預測點附近的執行個體點，因此每一次預測都要重新運行一遍演算法，得出一個組參數值，因此其計算代價很大。

參數/非參數學習演算法