機器學習兩種方法——監督學習和無監督學習（通俗理解）_機器學習

前言

機器學習分為：監督學習，無監督學習，半監督學習（也可以用hinton所說的強化學習）等。

在這裡，主要理解一下監督學習和無監督學習。 監督學習（supervised learning）

從給定的訓練資料集中學習出一個函數（模型參數），當新的資料到來時，可以根據這個函數預測結果。監督學習的訓練集要求包括輸入輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。監督學習就是最常見的分類（注意和聚類區分）問題，通過已有的訓練樣本（即已知資料及其對應的輸出）去訓練得到一個最優模型（這個模型屬於某個函數的集合，最優表示某個評價準則下是最佳的），再利用這個模型將所有的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現分類的目的。也就具有了對未知資料分類的能力。監督學習的目標往往是讓電腦去學習我們已經建立好的分類系統（模型）。

監督學習是訓練神經網路和決策樹的常見技術。這兩種技術高度依賴事先確定的分類系統給出的資訊，對於神經網路，分類系統利用資訊判斷網路的錯誤，然後不斷調整網路參數。對於決策樹，分類系統用它來判斷哪些屬性提供了最多的資訊。

常見的有監督學習演算法：迴歸分析和統計分類。最典型的演算法是KNN和SVM。

有監督學習最常見的就是：regression&classification

Regression：Y是實數vector。迴歸問題，就是擬合(x,y)的一條曲線，使得價值函數(costfunction) L最小

   

Classification：Y是一個有窮數(finitenumber)，可以看做類標號，分類問題首先要給定有lable的資料訓練分類器，故屬於有監督學習過程。分類過程中cost function l(X,Y)是X屬於類Y的機率的負對數。

其中fi(X)=P(Y=i/X)。

  無監督學習（unsupervised learning）

輸入資料沒有被標記，也沒有確定的結果。樣本資料類別未知，需要根據樣本間的相似性對樣本集進行分類（聚類，clustering）試圖使類內差距最小化，類間差距最大化。通俗點將就是實際應用中，不少情況下無法預Crowdsourced Security Testing道樣本的標籤，也就是說沒有訓練樣本對應的類別，因而只能從原先沒有樣本標籤的樣本集開始學習分類器設計。

非監督學習目標不是告訴電腦怎麼做，而是讓它（電腦）自己去學習怎樣做事情。非監督學習有兩種思路。第一種思路是在指導Agent時不為其指定明確分類，而是在成功時，採用某種形式的激勵制度。需要注意的是，這類訓練通常會置於決策問題的架構裡，因為它的目標不是為了產生一個分類系統，而是做出最大回報的決定，這種思路很好的概括了現實世界，agent可以對正確的行為做出激勵，而對錯誤行為做出懲罰。

無監督學習的方法分為兩大類：

(1)    一類為基於機率密度函數估計的直接方法：指設法找到各類別在特徵空間的分布參數，再進行分類。

(2)    另一類是稱為基於樣本間相似性度量的簡潔聚類方法：其原理是設法定出不同類別的核心或初始核心，然後依據樣本與核心之間的相似性度量將樣本聚整合不同的類別。

利用聚類結果，可以提取資料集中隱藏資訊，對未來資料進行分類和預測。應用於資料採礦，模式識別，影像處理等。

    PCA和很多deep learning演算法都屬於無監督學習。  兩者的不同點

1.      有監督學習方法必須要有訓練集與測試樣本。在訓練集中找規律，而對測試樣本使用這種規律。而非監督學習沒有訓練集，只有一組資料，在該組資料集內尋找規律。

2.      有監督學習的方法就是識別事物，識別的結果表現在給待識別資料加上了標籤。因此訓練樣本集必須由帶標籤的樣本組成。而非監督學習方法只有要分析的資料集的本身，預先沒有什麼標籤。如果探索資料集呈現某種聚集性，則可按自然的聚集性分類，但不予以某種預先分類標籤對上號為目的。

3.      非監督學習方法在尋找資料集中的規律性，這種規律性並不一定要達到劃分資料集的目的，也就是說不一定要“分類”。

這一點是比有監督學習方法的用途要廣。    譬如分析一堆資料的主分量，或分析資料集有什麼特點都可以歸於非監督學習方法的範疇。

4.      用非監督學習方法分析資料集的主分量與用K-L變換計算資料集的主分量又有區別。後者從方法上講不是學習方法。因此用K-L變換找主分量不屬於無監督學習方法，即方法上不是。而通過學習逐漸找到規律性這體現了學習方法這一點。在人工神經元網路中尋找主分量的方法屬於無監督學習方法。  何時採用哪種方法

  簡單的方法就是從定義入手，有訓練樣本則考慮採用監督學習方法；無訓練樣本，則一定不能用監督學習方法。但是，現實問題中，即使沒有訓練樣本，我們也能夠憑藉自己的雙眼，從待分類的資料中，人工標註一些樣本，並把它們作為訓練樣本，這樣的話，可以把條件改善，用監督學習方法來做。對於不同的情境，正負樣本的分布如果會存在位移（可能大的位移，可能比較小），這樣的話，監督學習的效果可能就不如用非監督學習了。