为什么validation的accuracy比train的要高

Question

请问为什么validation的准确率要比train的高？按说不应该是在train数据集上的效果要更好吗？这种现象是因为样本分布问题导致的吗？即前面切分完数据集后，训练集和验证集样本分布不同

Answer 1

正十七 2020-07-18 22:28:20

在fit函数中，训练集上的accuracy是一边训练一边累积的，即开始的模型状态A1得到第一个batch的accuracy，训练一步后在模型状态A2上得到第二个batch的accuracy，以此类推。而对validation set，是在训练完后的模型状态AN上得到的。在模型没有过拟合的情况下，即在模型状态会随着训练越来越好的条件下，AN状态上测所有样本肯定会比累积测要好。

当模型处于过拟合状态时，train会比valid要高，在正常拟合状态下，train和valid一般是差不多，而你说的这个问题，是由于tensorflow函数的计算方式引起的。