这个作为损失函数什么 不行呢？

Question

1-p if y=1
p if y=0

也是符合 如果y=1 p越小,cost越大, 如果y=0,p越大,cost越大

而且这样非常好理解 损失函数=|正确值y - 预测值p|

Answer 1

liuyubobobo 2019-01-06 09:58:08

赞！其实是可以的：）

只不过你的这个函数并不满足最大似然估计推到得到的结果。由于课程设计中尽量避免过多的数学知识，所以没有介绍最大似然估计，直接给出了逻辑回归的损失函数定义。逻辑回归的这个损失函数并不是简单的符合“如果y=1 p越小,cost越大, 如果y=0,p越大,cost越大”而已。实际上，符合这个简单的“单调性”的函数有无数多个。但是，满足最大似然估计的结果是这一个。简单的说，最大似然估计保证了在当前样本所描述的“分布”中，能够最大概率的保证分类的正确。

关于最大似然估计以及推导出逻辑回归的这个损失函数，印象里大名鼎鼎的PRML中（https://book.douban.com/subject/2061116/）就有详细的推导，有兴趣也可以在互联网上查找更多资料进行自学：）

加油！：）

• 提问者 qq_书山压力大EE_0 #1

  谢谢老师！

Answer 2

提问者 qq_书山压力大EE_0 2019-01-06 09:35:28

看到 有同学 问过类似问题,  所以 这个问题的本质 应该是

为什么 损失函数 的值域  得要[0, 正无穷）？