偏差 vs 方差

Graphical illustration of bias and variance.

如图所示,其中的每一个蓝点可以表示「根据某一份训练集所拟合出来的模型在同一份训练集上的的测试结果」,蓝点越接近中间,则说明该模型拟合得越好(在这份数据集上)。因此,

  • Bias(偏差)指的是模型拟合某一份具体的训练集拟合得好不好(单份数据集上该模型的学习能力),类似于射击瞄得准不准;
  • Variance(方差)指的是模型拟合多份不同的训练集能不能稳定地拟合(不同数据扰动下表现是否稳定;泛化),类似于射击时手稳不稳。

以下对上图的 4 种情况具体分析:

  • 左上,低偏差低方差,是我们的目标,又准又稳;
  • 右上,低偏差高方差,拟合时好时坏,总是是准的,但是容易飘、容易受数据的影响,过拟合 了;
  • 左下,高偏差低方差,在不同数据集上结果很稳定(啥数据进来都不会过拟合),但是不太准(拟合不充分);
  • 右下,高偏差高方差,没学好。

偏差、方差、误差的关系

Bias and variance contributing to total error.

这里的 Error(误差)可以简单理解为训练好的模型在真实数据(测试集)上的测试结果(泛化),可以更简单地理解为就是 BiasVariance 的总和。为了得到更低的误差,我们有两个努力的方向:

  1. 最小化 Error(train) => 使用更复杂的模型 => low bias;
  2. 最小化 |Error(train) - Error(Test)| => 使用更简单的模型 => low variance。

权衡两者,就是我们最终需要的最优模型。

参考