【原】Andrew Ng斯坦福機器學習（6）——Lecture 6_Logistic Regression

標籤：地區   http   font   6.2   pen   cost   open   nowrap   com   

  Lecture6　Logistic Regression 羅吉斯迴歸

6.1 分類問題 Classification
6.2 假設表示 Hypothesis Representation
6.3 決策邊界 Decision Boundary
6.4 代價函數 Cost Function
6.5 簡化的代價函數和梯度下降 Simplified Cost Function and Gradient Descent
6.6 進階最佳化 Advanced Optimization
6.7 多類別分類：一對多  Multiclass Classification_ One-vs-all

 

雖然羅吉斯迴歸名字裡有一個迴歸，但它不是迴歸演算法。而是一種非常強大，甚至可能世界上使用最廣泛的一種分類演算法。

特徵縮放也適用於羅吉斯迴歸。

6.1 分類問題 Classification

　　參考視頻: 6 - 1 - Classification (8 min).mkv

　　二值分類問題 binary classification problem 定義如下：　　

　　

6.2 假設表示 Hypothesis Representation

　　參考視頻: 6 - 2 - Hypothesis Representation (7 min).mkv

　　 引入一個新的模型：羅吉斯迴歸。該輸出變數範圍始終在 0和1 之間。 羅吉斯迴歸模型的假設是： 

　　

　　?? 代表特徵向量；

　　?? 代表邏輯函數Logistic Function 也叫 Sigmoid Function，其曲線如下：

 

　　給定輸入變數x，根據選擇的參數Θ，h(x)給出 y=1 的機率。y=0 的機率是 1 - h(x)

6.3 決策邊界 Decision Boundary

　　參考視頻 : 6 - 3 - Decision Boundary (15 min).mkv

 　　決策邊界就是模型中預測為1 和預測為0的地區的分界線。The decision boundary is the line that separates the area where y = 0 and where y = 1. It is created by our hypothesis function.

 　　 線性決策邊界：

 　　非線性決策邊界：

 6.4 代價函數  Cost Function

　　參考視頻: 6 - 4 - Cost Function (11 min).mkv

 　　如果沿用線性迴歸裡的代價函數，則會導致J(??) 不是凸函數，引發很多局部最優解。

為了擬合羅吉斯迴歸模型的參數 ??，代價函數如下：

　　 根據上面的公式計算代價，當預測和實際一致時代價為0，反之代價為無窮大。

　　y = 1時，h(x) 和 J(Θ) 對應曲線如下：

　　y = 0時， h(x) 和 J(Θ) 對應曲線如下：

 

　即有以下規律：

Cost(hθ(x),y) = 0 　　if hθ(x)=y

Cost(hθ(x),y)→∞ 　　if y=0 and hθ(x)→1

Cost(hθ(x),y)→∞ 　　if y=1 and hθ(x)→0

 

6.5 簡化的代價函數和梯度下降

　　參考視頻 : 6 - 5 - Simplified Cost Function and Gradient Descent (10 min).mkv

 　　將上面兩個式子 簡化為下面一個式子（當 y 分別等於0或1時，式子只剩下兩項中的一項）：

 　　完整的代價函數如下：

　　一個向量實現如下：

 　　梯度下降過程如下：

 　　使用數學方法推倒上式中 J(Θ) 的導數：

 

　　帶入更新演算法中，得到下面演算法：

 　　上面這個梯度下降演算法 看起來和線性迴歸一樣，但事實上是完全不同的。因為之前 h(x) 是線性函數，而羅吉斯迴歸中 h(x) 定義如下：

 

　　一個梯度下降的向量化實現如下

 

6.6 進階最佳化 Advanced Optimization

　 參考視頻 : 6 - 6 - Advanced Optimization (14 min).mkv

　　除梯度下降演算法以外，還有一些常被用來令代價函數最小的演算法。這些演算法更加複雜和優越，而且通常不需要人工選擇學習率，比梯度下降演算法要更加快速。這些有： 共軛梯度 （Conjugate Gradient）， 局部最佳化法 （Broyden fletcher goldfarb shann,BFGS）和有限記憶體局部最佳化法 （LBFGS）。

　　這些演算法有一個智能的內部迴圈，稱為線性搜尋(line search)演算法，它可以自動嘗試不同的學習速率 。只需要給這些演算法提供計算導數項和代價函數的方法，就可以返回結果。適用於大型主機器學習問題。

　　它們太複雜，不應該自己實現，而是調用MATLAB方法。例如一個無約束最小值函數 fminunc 。它會使用眾多進階最佳化演算法中的一個，就像加強版的梯度下降法，自動選擇學習速率，找到最佳的 Θ 值。

　　使用時需要提供代價函數和每個參數的求導，我們自己實現 costFunction 函數，傳入參數Θ，可以一次性返回以下兩個值：

　　例子，調用 fminunc() 函數，用@傳入costFunction函數的指標，初始化的 theta，還可以增加 options（GradObj = on 指 “開啟梯度目標參數”，即我們會給這個函數提供梯度參數）：

6.7 多類別分類：一對多 Multiclass Classification_ One-vs-all

　　參考視頻: 6 - 7 - Multiclass Classification_ One-vs-all (6 min).mkv

　　多分類問題中，y 有 {0,1...n} 一共 n+1 中可能值。方法：

　　（1）拆分成  n+1 個二分類問題。

　　（2）對每個分類，都預測出一個h(x)值。代表 y是這個類型的可能性。

　　（3）最後結果為可能性最大的那個類型。

相關術語

decision boundary 決策邊界
loophole　漏洞
nonlinear 非線性
penalize 使不利

【原】Andrew Ng斯坦福機器學習（6）——Lecture 6_Logistic Regression