機器學習總結（六）線性迴歸與羅吉斯迴歸

標籤：速度   soft   權重   基於   nowrap   應用   normal   任務   誤差   

線性迴歸（Linear Regression）

是利用稱為線性迴歸方程的最小平方函數對一個或多個自變數和因變數之間關係進行建模的一種迴歸分析。這種函數是一個或多個稱為迴歸係數的模型參數的線性組合（自變數都是一次方）。只有一個自變數的情況稱為簡單迴歸，大於一個自變數情況的叫做多元迴歸。
線性迴歸的模型函數如下： 

損失函數（基於均方誤差最小化）

通過訓練資料集尋找參數的最優解，即求解可以得minJ(θ)的參數向量θ,其中這裡的參數向量也可以分為參數和w和b，分別表示權重和偏置值。

線性迴歸方程可通過兩種方法求解，一種是梯度下降法（上篇博文已提到），另外一種就是通過正規方程組來求解，下面介紹正規方程組：

將資料集的資料寫成矩陣的形式：

則損失函數可以寫成：

求解正規方程組可得：

在這個方程組中需要求解(XTX)逆，需要(XTX)不滿秩。即希望X的列數多於行數。

logistic迴歸

logistic迴歸也稱為羅吉斯迴歸，是一種廣義線性模型，它將分類任務的真實標記與線性迴歸模型的預測值聯絡起來。

羅吉斯迴歸的假設函數為

或者：

這個假設函數叫邏輯函數（Logistic function）或者是S形函數（Sigmoid function），其輸出值在z=0處變化很陡。

這個函數有幾個優點：

一：它是直接對分類可能性進行建模，無需事先假設資料分布，這樣可以避免分布不準確所帶來的問題。

二：它不僅預測出類別，而是可以得到近似機率預測，這對許多需要利用機率輔助決策的任務很有用。

三：是任意階可導的凸函數，有很好的數學性質，求導結果：。

羅吉斯迴歸函數求解：通過最大似然估計來求解θ

羅吉斯迴歸用於二分類的問題，y屬於{0,1}的問題，服從一個伯努利分布（Bernoulli distribution）：

 

將兩式寫在一起：

明顯當y=1時是第一個式子，當y=0時，是第二個式子。

對於機率問題，有m個樣本，我們可以得到它的對數似然函數：

這樣有了目標函數l(θ)，根據極大似然定理 ，當l(θ)最大的時候取得的θ，即為模型的最優解。

而羅吉斯迴歸的代價函數就是?l(θ)，即?l(θ)越小越好。得到下式：

 

用梯度下降公式求解：

 可得到迭代公式：

 

總結

線性模型

優點：結果易於理解，計算上不複雜。 
缺點：對非線性資料擬合不好。

羅吉斯迴歸模型：

優點：實現簡單；分類時計算量非常小，速度很快，儲存資源低；

缺點：容易欠擬合，一般準確度不太高，只能處理兩分類問題（在此基礎上衍生出來的softmax可以用於多分類），且必須線性可分；

最後，本文沒有對softmax函數進行推導，但是softmax函數在深度學習裡面有很多應用，是有必要弄懂的一個函數。 

 

 

 

 

 

 

 

 

 

 

機器學習總結（六）線性迴歸與羅吉斯迴歸