wide_deep模型实战问题

Question

老师，您好，我在海量数据实战wide_deep模型碰到下面两个问题：
第一个问题：
我的训练数据有1000多个特征，有20个G，在HDFS是libsvm存储的，但是wide-deep模型是读取csv文件，有没有直接读取libsvm的参考？或者我的数据量特别大，是不是需要转化成tfecord，数据转化也会很费时间？请您给出相关的参考？
第二个问题：
老师，wide_deep的下一步是不是尝试一下deepfm？还是阿里的深度兴趣网络？您有相关的实践经验吗？
非常期待您的回答

Answer 1

David 2019-01-27 19:01:47

你样本很多 就按batch来 batch几次就会存一个checkpoint。我们在实战中也是 每小时数据按batch处理完，然后等下一小时数据到再处理，保证model的更新。

• 提问者 慕哥0458965 #1

  非常感谢！

Answer 2

David 2019-01-27 19:00:04

两种方式吧。一你可以把 libsvm转tf record，百度一下很多demo。第二种 你可以把libsvm转成我例子中都可以。关键是保证feature transform填对。 deepfm我们实战的效果，包括我认识很多同学在实战中使用deepfm效果都不好.DIN 感兴趣的话你可以看看尝试一下。

• 提问者 慕哥0458965 #1

  非常感谢老师！