Lineage羅吉斯迴歸分類演算法

標籤：向量   大量   簡單   color   樣本   轉化   距離   img   alt   

Lineage羅吉斯迴歸分類演算法

1、概述

Lineage羅吉斯迴歸是一種簡單而又效果不錯的分類演算法

什麼是迴歸：比如說我們有兩類資料，各有50十個點組成，當我門把這些點畫出來，會有一條線區分這兩組資料，我們擬合出這個曲線（因為很有可能是非線性），就是迴歸。我們通過大量的資料找出這條線，並擬合出這條線的運算式，再有新資料，我們就以這條線為區分來實現分類。

 

是一個資料集的兩組資料，中間有一條區分兩組資料的線。

 

顯然，只有這種線性可分的資料分布才適合用線性羅吉斯迴歸

 

 2、演算法思想

Lineage迴歸分類演算法就是將線性迴歸應用在分類情境中

在該情境中，計算結果是要得到對樣本資料的分類標籤，而不是得到那條迴歸直線

 

2.1、演算法圖示

1) 演算法目標（）？

大白話：計算各點的y值到擬合線的垂直距離，如果

距離>0， 分為類A

距離<0， 分為類B

 

2) 如何得到擬合線呢？

大白話：只能先假設，因為線或面的函數都可以表達成

y(擬合)=w1*x1 + w2*x2 + w3*x3 + ...

其中的w是待定參數

而x是資料的各維度特徵值

因而上述問題就變成了 樣本y(x) - y(擬合) >0 ? A : B

 

3) 如何求解出一套最優的w參數呢？

基本思路：代入“先驗資料”來逆推求解

但針對不等式求解參數極其困難

通用的解決辦法，將對不等式的求解做一個轉換：

1. 將“樣本y(x) - y(擬合) ”的差值壓縮到一個0~1的小區間，
2. 然後代入大量的樣本特徵值，從而得到一系列的輸出結果；
3. 再將這些輸出結果跟樣本的先驗類別比較，並根據比較情況來調整擬合線的參數值，從而是擬合線的參數逼近最優

從而將問題轉化為逼近求解的典型數學問題

 

 2.2、sigmoid函數

上述演算法思路中，通常使用sigmoid函數作為轉換函式

函數運算式：

 

註：此處的x是向量

 

函數曲線：

之所以使用sigmoid函數，就是讓樣本點經過運算後得到的結果限制在0~1之間，壓縮資料的巨幅震蕩，從而方便得到樣本點的分類標籤（分類以sigmoid函數的計算結果是否大於0.5為依據）

 

 3、演算法實現分析

3.1、實現思路

演算法思想的數學表述：

把資料集的特徵值設為x1，x2，x3......

求出它們的迴歸係數wi

設z=w1*x1+w2*x2..... ，然後將z值代入sigmoid函數並判斷結果，即可得到分類標籤

 

問題在於如何得到一組合適的參數wi？

通過解析的途徑很難求解，而通過迭代的方法可以比較便捷地找到最優解

簡單來說，就是不斷用樣本特徵值代入算式，計算出結果後跟其實際標籤進行比較，根據差值來修正參數，然後再代入新的樣本值計算，迴圈往複，直到無需修正或已到達預設的迭代次數

註：此過程用梯度上升法來實現。

 

3.2、梯度上升演算法

通俗解釋：通過小步前進——》調整方向——》繼續小步前進——》最終逼近最優解

梯度上升是指找到函數增長的方向。在具體實現的過程中，不停地迭代運算直到w的值幾乎不再變化為止。

：

 

 

 

 

Lineage羅吉斯迴歸分類演算法