Lecture 13: Hazard of Overfitting 过拟合的危险

13-1 什么是过拟合

失败的一般化：low Ein，high Eout。

VC维很大的时候，会造成过拟合。

VC维太小的时候，会造成欠拟合。

造成过拟合的原因：过大的VC维，噪声，少的data size N。

 

13-2 噪声和data size的作用

Overfit：Ein很小但Eout特别大。

当没有noise时，g2也会做得好：（右图为target函数）

这是因为：目标函数的复杂度acts like noise。

 

13-3 Deterministic Noise

Datasize太少，stochasticnoise太大，deterministic noise太大和excessivepower太大时，都会造成overfit。如下图：

 

13-4 如何解决过拟合

从简单一点的模型开始；数据清洗；data hinting；规则化；validation；

Datacleaning：correct the label

Datapruning：removethe label

DataHinting：addexamples by shift/rotate the label(在数字识别问题中)