最小二乘法 及python 實現

標籤：效果   class   col   列表   之間   公式   求導   new   選擇   

參考   最小二乘法小結     機器學習：Python 中如何使用最小二乘法

什麼是” 最小二乘法” 呢

      定義：最小二乘法（又稱最小平方法）是一種數學最佳化技術，它通過最小化誤差的平方和尋找資料的最佳函數匹配。

      作用：利用最小二乘法可以簡便地求得未知的資料，並使得這些求得的資料與實際資料之間誤差的平方和為最小。

      原則：以” 殘差平方和最小” 確定直線位置 (在數理統計中，殘差是指實際觀察值與估計值之間的差)

      數學公式：

 

      基本思路：對於一元線性迴歸模型, 假設從總體中擷取了 n 組觀察值（X1，Y1），（X2，Y2）， …，（Xn，Yn），對於平面中的這 n 個點，可以使用無數條曲線來擬合。而線性迴歸就是要求樣本迴歸函數儘可能好地擬合這組值，也就是說，這條直線應該儘可能的處於樣本資料的中心位置。因此，選擇最佳擬合曲線的標準可以確定為：使總的擬合誤差（即總殘差）達到最小。 求最小，那就通過 對參數分別求導數聯立方程組來解。

• 最小二乘法是直接利用最小化誤差平法和，來對參數求導，求得參數解，屬於比較確定的值
• 而 梯度下降法 ，屬於迭代法，知道梯度 下降的方向劉，挨個去迭代。

1. 最小二乘法的原理與要解決的問題　

2. 最小二乘法的代數法解法

3.最小二乘法的局限性和適用情境　　

 

 

##最小二乘法import numpy as np   ##科學計算庫 import scipy as sp   ##在numpy基礎上實現的部分演算法庫import matplotlib.pyplot as plt  ##繪圖庫from scipy.optimize import leastsq  ##引入最小二乘法演算法‘‘‘     設定樣本資料，真實資料需要在這裡處理‘‘‘##樣本資料(Xi,Yi)，需要轉換成數組(列表)形式Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2])Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3])‘‘‘    設定擬合函數和偏差函數    函數的形狀確定過程：    1.先畫樣本映像    2.根據樣本映像大致形狀確定函數形式(直線、拋物線、正弦餘弦等)‘‘‘##需要擬合的函數func :指定函數的形狀def func(p,x):    k,b=p    return k*x+b##偏差函數：x,y都是列表:這裡的x,y更上面的Xi,Yi中是一一對應的def error(p,x,y):    return func(p,x)-y‘‘‘    主要部分：附帶部分說明    1.leastsq函數的傳回值tuple，第一個元素是求解結果，第二個是求解的代價值(個人理解)    2.官網的原話（第二個值）：Value of the cost function at the solution    3.執行個體：Para=>(array([ 0.61349535,  1.79409255]), 3)    4.傳回值元組中第一個值的數量跟需要求解的參數的數量一致‘‘‘#k,b的初始值，可以任意設定,經過幾次實驗，發現p0的值會影響cost的值：Para[1]p0=[1,20]#把error函數中除了p0以外的參數打包到args中(使用要求)Para=leastsq(error,p0,args=(Xi,Yi))#讀取結果k,b=Para[0]print("k=",k,"b=",b)print("cost："+str(Para[1]))print("求解的擬合直線為:")print("y="+str(round(k,2))+"x+"+str(round(b,2)))‘‘‘   繪圖，看擬合效果.   matplotlib預設不支援中文，label設定中文的話需要另行設定   如果報錯，改成英文就可以‘‘‘#畫樣本點plt.figure(figsize=(8,6)) ##指定映像比例： 8：6plt.scatter(Xi,Yi,color="green",label="樣本資料",linewidth=2) #畫擬合直線x=np.linspace(0,12,100) ##在0-15直接畫100個連續點y=k*x+b ##函數式plt.plot(x,y,color="red",label="擬合直線",linewidth=2) plt.legend(loc=‘lower right‘) #繪製圖例plt.show()

  結果如下所示： 

  輸出結果：

      k= 0.900458420439 b= 0.831055638877
      cost：1
      求解的擬合直線為:
      y=0.9x+0.83

  繪圖結果：

 

最小二乘法 及python 實現