2.6. Statistical Models, Supervised Learning and Function Approximation

標籤：

Statical model

 

• regression$y_i=f_{\theta}(x_i)+\epsilon_i,E(\epsilon)=0$
  1.$\epsilon\sim N(0,\sigma^2)$ 2.使用最大似然估計$\rightarrow$最小二乘
  $y\sim N(f_{\theta}(x),\sigma^2)$
  $L(\theta)=-\frac{N}{2}log(2\pi)-Nlog\sigma -\frac{1}{2\sigma^2}\sum_i\left(y_i-f_{\theta}(x_i)\right)^2$
  
• classification $p_{\theta}(g_i=k|X=x_i),k=1\cdots K$
  此處使用最大似然估計等同於Cross entropy和KL散度
  對於單個資料點$(x,g=k)$來說,其所屬類別$g=k$為1，其餘類別為0
  
  • $L(\theta)=logp(g=k|x)$ 需要最大化
    
  • $CE(p,q)=-\sum_x p(x)logq(x)$
    對應到本例$CE=-\sum_i p(g=i)logp(g=i|x_i)=-logp(g=k|x)$ 需要最小化
    
  • $KL(p,q)=\sum_x p(x)log\frac{p(x)}{q(x)}$
    對應本例$KL=\sum_i p(g=i)log\frac{p(g=i)}{p(g=i|x)}=log\frac{1}{p(g=k|x)}=-logp(g=k|x)$需要最小化

2.6. Statistical Models, Supervised Learning and Function Approximation