過擬合和欠擬合
仍舊以線性回歸舉例，f(x,w)=w1x1+w2x2...wnxn
我們要在損失函數最小的情況下得到權值wE=∑Ni=1(yi?f(x,w))2
但是階數N也是需要考慮的，比如一階就是一條線，特別大就是一條奇奇怪怪的曲線分別穿過資料點顯然，前者根本就穿不完，後者是穿的太完美，都是非常危險的。 引入一張PRML書裡的圖來解釋形象的描述：
我們正確的函數是正弦函數，現在想讓模型學習這寫點，階數小的穿不過去，而階數高的模型過於複雜導致如果出現別的正確點卻無法在測試集上很好發揮的情況。 對應的即是 過擬合和欠擬合。
模型容量（複雜度）和模型泛化
模型容量：以線性回歸為例，模型如果太過簡單，那麼顯然並不能很好的擬合數據；相反，如果模型複雜度特別大，在訓練集上可能會非常好的「記住」了這些特徵，但是到測試集上就會崩，就好比我們死記硬背了例題換個樣子就不會做了。 即：增大模型容量，訓練誤差和測試誤差都會下降，但是過度增加仍然會導致測試誤差上升 模型泛化：泛化指的是我們將我們的模型可以應用於其他場景，有些看樣子學習的很好，實際上根本就不科學，也就是不可學。 普適逼近定理：只要給定足夠多的神經元，單隱層全連接網路表達能力總是足夠強的。 話是這麼說，但是講表達能力是沒意義的，表達了不代表學習到了，我們最終的目的是要有一個很好學習能力的模型而不是為了某個東西而表達出來，這和死記硬背例題沒有什麼區別。Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
