我們想要的是接收所有的輸入，然後預測出類別。 在兩個類的情況下輸出0或者1。 這種性質的函數，也許原來你接觸過，叫做Heaviside step function，即單位階躍函數。 但是這種瞬間的跳躍實際中很難處理。 所以，這裡我們採用Sigmoid函數。
g(z)=11+e?z
為了實現Logistic回歸分類器，我們在每個特徵上乘以一個回歸係數，再講所有的結果相加，將這個總和帶入Sigmoid函數中，得到一個範圍在0~1之間的數值。 任何大於0.5的被分為1類，小於0.5的被分為0類。 那麼，問題就變成了最佳回歸係數是多少？
梯度下降法要得到函數的最優值，需要知道最優值的方向和需要向最優值移動的移動量。 梯度運算元是函數值下降最快的方法。 移動量稱為步長，記做α。
設有一組訓練集{(x1,y1),...,(xm,ym)}，m是樣本數，對於每個樣本xi,xi=[xi1,...xin]T,y=[0,1],我們乘以最佳係數θ得到
hθ(x)=11+e?θTx
代價函數的式子如下：
Cost(hθ(x),y)={?log(hθ(x))?log(1?hθ(x))ify=1ify=0
J(θ)=1m∑i=0mCostfunction(hθ(xi),yi)=?1m[∑i=0myilog(hθ(xi)+(1?yi)log(1?hθ)(xi))]
Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
