羅吉斯迴歸演算法

標籤：style   方法   自己   聯絡   來源   一個   選擇   height   邏輯   

　　使用線性模型進行迴歸學習，但若要做分類任務該怎麼辦呢？答案蘊含在廣義線性模型中：只需要找一個單調可微的函數將分類任務的真實標記y與線性迴歸模型的預測值聯絡起來。

　　對數幾率函數是一個常用的替代函數：

　　　　　　　　

　　該函數的映像如（來源：維基百科）：

　　

　　對數幾率函數又稱作“sigmoid函數”，將z值轉化為一個接近0或1的y值。

二、邏輯會回參數求解過程

 

 

 

三、Logistic Regression的適用性

1） 可用於機率預測，也可用於分類。

       並不是所有的機器學習方法都可以做可能性機率預測（比如SVM就不行，它只能得到1或者-1）。可能性預測的好處是結果又可比性：比如我們得到不同廣告被點擊的可能性後，就可以展現點擊可能性最大的N個。這樣以來，哪怕得到的可能性都很高，或者可能性都很低，我們都能取最優的topN。當用於分類問題時，僅需要設定一個閾值即可，可能性高於閾值是一類，低於閾值是另一類。

2） 僅能用於線性問題

       只有在feature和target是線性關係時，才能用Logistic Regression（不像SVM那樣可以應對非線性問題）。這有兩點指導意義，一方面當預Crowdsourced Security Testing道模型非線性時，果斷不使用Logistic Regression； 另一方面，在使用Logistic Regression時注意選擇和target呈線性關係的feature。

3） 各feature之間不需要滿足條件獨立假設，但各個feature的貢獻是獨立計算的。

       羅吉斯迴歸不像樸素貝葉斯一樣需要滿足條件獨立假設（因為它沒有求後驗機率）。但每個feature的貢獻是獨立計算的，即LR是不會自動幫你combine 不同的features產生新feature的 (時刻不能抱有這種幻想，那是決策樹,LSA, pLSA, LDA或者你自己要乾的事情)。舉個例子，如果你需要TF*IDF這樣的feature，就必須明確的給出來，若僅僅分別給出兩維 TF 和 IDF 是不夠的，那樣只會得到類似 a*TF + b*IDF 的結果，而不會有 c*TF*IDF 的效果。

 學習線性模型的步驟：

1.構造預測函數。

2.找到損失函數。最小二乘法，最大似然估計法，貝葉斯估計，矩估計法

3.通過損失函數找到最小誤差的最優解。梯度下降法

 

 

參考：http://www.cnblogs.com/junneyang/p/5262064.html

羅吉斯迴歸演算法