采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
老师,我看您写的代码,代码中每次读取一个parquet文件训练,这样是否会影响模型结果?是否需要全读取完成后再训练?
for filename in filenames: df = pd.read_parquet(filename) model.fit( [train_x1, train_x2, train_x3, train_x4], 。。。。 )
不会影响的,即使全部读进来模型肯定也是一条一条记录的训练,所以没有必要哈。
而且全部读进内存对于大数据集而言几乎是不可能的
是因为这个fit函数在调用时是在不断在原有模型基础上训练的嘛?所以才会不影响性能
嗯对的!没错 绝大部分模型都是可以增量训练的哈
好的,谢谢老师
登录后可查看更多问答,登录/注册
模块化拆解底层架构,带你掌控全局,掌握核心技术和关键模型
361 10
685 8
514 7
751 6
374 5