機器學習基石第二講筆記

標籤：des   io   ar   os   sp   for   strong   on   資料   

第二講介紹了Perceptron Learning Algorithm (PLA)，是以後學習的基礎。

PLA是二元的線性分類器，類似於神經感受器，用於做是非題。

1. PLA的假設函數：h(x) = sign(w‘x)。

　　這裡w‘是列向量，x是行向量。x代表一個資料點，這個點可能包含了d個維度，即x = (x1, x2, ..., xd)。舉例來說，x可以是一個人，裡麵包含了人的各種特徵，比如年齡、性別、職業、收入等等。w‘是每個維度所佔的權重。比如銀行要給客戶發信用卡，就要考慮客戶各個方面以決定是否發卡。每個方面重要性可能不同，比如收入可能重要一些，則相應的權重高一些。當客戶的綜合能力超過某個閾值時，銀行就可以發卡；沒有達到時，銀行就不發卡。把這個閾值作為第0維，整合到w‘中。h(x)只有兩個取值{+1, -1}，對應於發卡和不發卡。PLA的目的是根據已有資料找到一個w‘，這個w‘能根據已經分好類的資料，學會如何分類，並用於新的資料。

2. 演算法描述（知錯能改）：

　　從某個w0開始，當找到一個點(xn(t), yn(t))，使得sign(wt‘xn(t)) ≠ yn(t)時，更正wt+1‘ = wt‘ + yn(t)xn(t)，直到沒有錯誤，不用更正為止。將最後一個w作為找到的假設g。

3. PLA的前提：資料D線性可分。

　　當資料D線性可分時，可以保證最後找到的w就是目標f所對應的wf。證明思路：每次更正，都會使wt和wf的內積增大。內積增大有兩個原因，一個是兩個向量靠近（夾角變小）了，一個是兩個向量模變大了。可以證明wt的模的增長是有上界的。所以，每次更正都會使wt接近wf，最終找到wf。更正次數T是有上界的。證明如下：

4. PLA的優缺點：

　　優點：簡單，快速，可用於任意維度

　　缺點：必須假設資料線性可分，不知道何時停止（儘管實際很快）

5. 有噪音情況的PLA：更正時，保留錯誤最少的wt。

 

機器學習基石第二講筆記