评价一个算法性能所使用的函数可以和目标函数主要是形式的不一致吗？

Question

是不是这种不一致主要是形式上的不一致，比如差的绝对值和差的平方，本质上都是比较两个数的差值，就是说评价算法性能的函数和目标函数主要是形式上的差异？

Answer 1

liuyubobobo 2018-02-08 07:18:13

非常好的问题。不是一定不一致，但是可以不一致。而且后续在学习分类问题的指标上你就会看到，这种不一致是常见的。（第十章）

评价方式和训练方式不一致，不是因为二者在数学上等价，大部分原因我认为有两点：

首先，一些评价方式是很难作为训练方式进行训练的。比如MAE，函数本身不可导，所以我们很难应用梯度下降法去真正的最小化MAE。但是这不阻碍我们使用MSE训练出模型，然后看看这个模型的MAE性能如何。

另一方面，很多时候，我们要看一个模型的很多指标，而不仅仅是一个指标。而很多指标相互之间是冲突的，是此消彼长的关系。但我们在训练的时候却只能使用一个指标进行训练。依然是，使用一个指标训练后，不妨碍我们查看得到的模型的多个指标。

• 提问者 神经旷野舞者 #1

  想到没学之前好像是觉得两者应该是一样的，现在更清楚了。
  评价指标多样，互相有关系，就视频里的例子，这三种指标是不是可以看作一种指标，因为都是在差值基础上做变形？

• liuyubobobo 回复 提问者 神经旷野舞者 #2

  MSE和RMSE可以看做一个指标；MAE不是。

• 提问者 神经旷野舞者 回复 liuyubobobo #3

  想了下，多了一个平均好像确实变化挺大。

点开查看后面1条评论