请问离线评价时可以定义指标吗？否则每次都要去影响真正的用户

Question

在课程中提到，在线要先定义评价指标，在离线训练时却没有用到。

这就意味着每个还没做过评价分析的模型，直接摆到线上去。 直接影响了线上用户，比较粗糙。 请问这块有什么办法可以解的吗？
https://coding.imooc.com/lesson/297.html#mid=20057

Answer 1

David 2019-01-01 22:44:31

对于召回算法，在实际项目中会评估新召回算法在测试数据集上的ctr，课程中也提到了。我这里举一个例子。如果利用推荐算法 算出A用户的推荐item 集合abcd四个item。实际生产环境的测试log中（何为实际生产环境的测试log， 拿最近一周的日志举例子。周一至周五做训练日志，周六周日的做测试log），找出用户A的展示点击日志，比如展示了adfghi，点击了ahi。那么取abcd与adfghi交集得到ad，这是分母，分子是ad中被点击的也就是a，得到新算法在测试集ctr0.5，如果这个比基线ctr还高。就可以上线到生产环境 拿到实际线上数据

• 提问者 慕沐9623816 #1

  谢谢老师，那就是说评价指标在离线训练时，也会参与训练了对吗？