rmse有放大预测结果和真实结果的较大差距的趋势， 没听懂，老师能再详细解释下么？

Question

如上，请问老师

Answer 1

liuyubobobo 2018-04-28 15:24:04

假设有两个样本。真实值结果为 y1=1, y2=2，我们的预测值，y1_hat=2, y2_hat=100

此时：

rmse = sqrt([(1-2)^2 + (2-100)^2]/2) 约为69.3

mae = 1/2 * (1 + 98) = 44.5

也就是rmse > mae

换句话说：用rmse看，它虽然和mae量纲相同，但数值更大。这意味着从rmse的尺度看，我们的算法犯的错误更严重。

这是因为，rmse内部的平方操作，放大了预测值和真实值之间的差距。如果预测值和真实值之间的差距越大，这个结果越明显。

• 刘刘刘刘刘英迪 #1

  假设有两个样本：真实值结果为 1 和 100，我们的预测值为 2 和 200。
  
  我们分别求 sqrt（ (2 - 1)^2 + (200 - 100)^2 ）= sqrt（10001）
  我们再求 abs(2 - 1) + abs(200 - 100) = 101
  
  注意：上述都没有1/m的参与。
  
  显然，sqrt（10001）< 101。因此，老师所说的“rmse内部的平方操作，放大了预测值和真实值之间的差距”，我不同意这个说法。我认为是1/m这个数据开方，导致了rmse > mae。
  
  |||||||||||
  
  m越大 --> 1/m越小 --> sqrt（1/m）和 1/m 的差距越大 --> 【sqrt（1/m）>> 1/m】 导致了【rmse > mae】，我是这么理解的。老师您看我说的对么？

• liuyubobobo 回复 刘刘刘刘刘英迪 #2

  赞思考！我觉得你从数字上，这么解释是对的。但是从整体公式表达的意思上，rmse 是对差值的平方做平均，然后为了统一量纲，再开方；而 mae 是直接对差值（绝对值）做平均。他们做平均的对象不同。rmse 之所以大，是因为选择做平均的对象差值的平方，而非差值的绝对值，所以我认为核心是这个平方：）

• 刘刘刘刘刘英迪 回复 liuyubobobo #3

  殊途同归，继续加油就完事了！/手动偷笑 ：）

点开查看后面2条评论

Answer 2

云中逐月 2020-11-26 23:51:37

可以把RMSE看成 y_i - y_i_hat 的平方平均数， 把 MAE 看成  y_i - y_i_hat  的算数平均数。数学上有个性质，算术平均数不超过平方平均数，这是均值不等式。

Answer 3

其实我是至尊贾 2020-07-01 10:03:53

这个看似简单的道理其实不是很容易发现，在研究计算成像的领域中，有一个引用上千次的经典论文，叫做Shades of grey and color constancy 运用的就是这样一个简单的数学思想，不过它把平方推广到了明可夫斯基范式。

感觉老师对这里的描述真的很精确，佩服！

• liuyubobobo #1

  哇，我完全不知道这篇文章，找来看一看。谢谢你的推荐：）