错误率(error rate):分类错误的样本数占样本总数的比例称为错误率
精度(accuracy):精度 = 1 - 错误率

如果在m个样本中有a个样本分类错误,那么错误率 E = a/m,精度 = 1 - E。
更一般地,把学习器的实际预测输出与样本的真实输出之间的差异称为误差(error)
学习器在训练集上的误差称为 训练误差(training error)经验误差(empirical error),在新样本上的误差称为 泛化误差(generalization error)

实际所希望的,是在新样本上能表现得很好的学习器,在这里引入两个重要概念:过拟合与欠拟合。