機器學習實戰-Logistic 迴歸__機器學習

一、羅吉斯迴歸介紹

Logistic 迴歸，雖然名字叫羅吉斯迴歸，但是它並不是一個迴歸模型，而是分類模型。利用羅吉斯迴歸進行分類的主要思想是： 根據現有資料對分類邊界線建立迴歸公式。介紹它的真正原理之前，我們要介紹一下迴歸的概念，那麼什麼是迴歸呢。假設我們現在有一堆資料點，我們用一條直線對這些點進行擬合，這個擬合的過程就叫做迴歸，而這條直線呢，我們就稱為最佳擬合直線。

正如上面所說的，我們利用logistic 迴歸進行分類，要建立迴歸公式，那麼我們需要找到最佳的迴歸係數，也就是下面我們即將介紹到的最佳化方法—梯度上升法，來求最佳迴歸係數。 二、 Sigmoid 函數（單位越階函數）

首先，我們要知道羅吉斯迴歸主要處理的是標稱型資料，即我們希望當我接受輸入後，能直接預測出類別。 而Sigmoid函數就提供了這麼一個性質，即可以輸出0或1。
sigmoid 函數的公式：
下面是這個公式對應的線性曲線圖：

從上圖以及公式我們可以得出：
Sigmoid函數是隨著z自變數的增大而增大，並且取值範圍是在0~1之間，當z = 0 時，sigmoid（z) = 0.5。 所以0.5 是我們 的分界線，當sigmoid(z) > 0.5 的資料被分為1類，反之被歸為0類。
因此為了實現logistic 迴歸分類器，我們可以在每個特徵上都乘以一個迴歸係數，然後求總和，即z 帶入到sigmoid函數中，則可以進行分類。 由此，我們可以得到求z的公式：
z=w_0 x_0+w_1 x_1+w_2 x_2+…w_n x_n=W^(T ) X
其中向量X 是分類器的輸入資料，向量W就是我們要找的最佳參數（係數）。下面我們採用梯度上升法，求最佳迴歸係數。 三、梯度上升法

基本思想：找到函數的最大值，在數學上可以理解為對函數求偏導，即沿X軸方向移動

沿y的方向移動：

上面只是確定了函數增長的方向，但是並沒有提到移動量的大小。該量值稱為步長，即α。梯度上升演算法的迭代公式如下： 四、代碼實現： 載入樣本資料集

def loadDataSet():    dataMat = [];    labelMat = []    fr = open('testSet.txt')    for line in fr.readlines():        lineArr = line.strip().split()        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])        labelMat.append(int(lineArr[2]))    return dataMat, labelMat

sigmoid 函數公式

def sigmoid(inX):    return 1.0 / (1 + exp(-inX))

梯度上升演算法

def gradAscent(dataMatIn, classLables):    dataMatrix = mat(dataMatIn)    labelMat = mat(classLables).transpose()    m, n = shape(dataMatrix)    alpha = 0.001    maxCycles = 500    weights = ones((n, 1))    # print "w:", weights    for k in range(maxCycles):        h = sigmoid(dataMatrix * weights)        # print "h:", h        error = (labelMat - h)        # print "error:", error        weights = weights + alpha * dataMatrix.transpose() * error        # print "weights:", weights    return weights

運行結果如下：

以上函數返回了一組迴歸係數，它確定了不同類別資料之間的分割線，有了這組迴歸係數，利用上面的線性迴歸方程，即可以畫出最佳擬合線，下面的函數是繪畫最佳擬合線：

def plotBestFit(weights):import matplotlib.pyplotaspltdataMat,labelMat=loadDataSet()dataArr=array(dataMat)n=shape(dataArr)[0]xcord1=[];ycord1=[]xcord2=[];ycord2=[]foriinrange(n):ifint(labelMat[i])==1:xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])else:xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2]);fig=plt.figure()ax=fig.add_subplot(111)ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')ax.scatter(xcord2,ycord2,s=30,c='green')x=arange(-3.0,3.0,0.1)y=(-weights[0]-weights[1]*x)/weights[2]ax.plot(x,y)plt.xlabel('X1');plt.ylabel('X2')plt.show()

main 方法運行：

if __name__ == '__main__':    dataArr, labelMat = loadDataSet()    weights0 = gradAscent(dataArr, labelMat)    print weights0    plotBestFit(weights0.getA())