對代價函數的理解

至今看到很多paper中最佳化的時候就會有一個代價函數（Cost Function），之前一直在琢磨這個問題，請教了一些同學。不知道是說的太抽象還是怎麼回事就是理解不了，今天通過一個例子明白了這個東東。舉個例子吧。

簡單的，就是一個變數做迴歸的時候。

M個樣本，分別是(x1,y1)，(x2,y2)。。。。(xM,yM)。

我使用的模型是f=kx。

那麼得到一個方程F = kx1+kx2+...kxM。

我迴歸的時候為了讓誤差小，得到一個方程

C = kx1-y1 + kx2-y2+....

我的目標肯定是讓C最小，來達到讓樣本擬合。這個時候C就是cose function。

個人理解就是為了讓自己的模型和真實的值得差更小，這個差就是cost function。