너무 맞는, 덜 맞는
피팅 및 피팅 덜 이상
선형 회귀 예제, F (x, w)와 아직도 = w1x1 + w2x2... wnxn
우리는 무게를 얻을 거 야 우리 = ∑ni = 1 (이순신? f (X, W)) 작은 손실 함수 2.
하지만 N의 순서는 또한 고려해 야 할 첫 번째 순서는 선, 특히 큰 것입니다와 같은 데이터 요소를 통해 이상한 곡선 들은 명확 하 게, 전 단순히 수 밖으로 착용 하지, 후자는 입고 너무 완벽 하 게, 매우 위험 하다. 이미지의 설명 설명 PRML 책에 그림을 소개:
이제 우리이 시점을 배울 모델, 순서는 과거 착용 작은 원하고 상위 모델은 너무 복잡해 서 다른 올바른 포인트 테스트 집합에 좋은 수 없습니다 있습니다 경우 우리의 올바른 함수 사인 함수가입니다. 해당 크로스 피팅 및 적은 피팅입니다.
모델 용량 (복잡) 및 모델 일반화
용량 모델: 선형 회귀의 경우 모델은 너무 간단 하 고, 하는 경우 그것은 분명 잘 맞는 데이터에 대 한, 다른 한편으로, 모델은 특히 복잡 한, 그것은 매우 좋은 학습 집합에서 이러한 기능을 "기억" 있을 수 있습니다 하지만 테스트 세트에 붕괴 됩니다, 우리와 마찬가지로 했을 것 이다 기계적으로 다른 방식으로 예. 즉: 모델 용량 증가, 교육 오류 및 테스트 오류가 거부 됩니다, 하지만 과도 한 증가 여전히 테스트 오류 상승 모델 일반화 이어질 것입니다: 일반화는 우리의 모델 다른 시나리오에 적용 될 수 있습니다, 일부 보인다 사실, 아주 잘 배울 수 과학은 배울 수 없습니다. 보편적인 근사 정리: 충분 한 뉴런, 주어진 단일 숨겨진된 계층의 능력을 완벽 하 게는 네트워크에 연결 하는 항상 충분히 강한. 그 말, 하지만 말하기 능력은 무의미, 식 학습, 우리의 궁극적인 목표는 능력을가지고 좋은 학습 모델 보다 표현, 뭔가 대 한 기계적 예제에서 다른은 하를 의미 하지 않는다.