请稍等 ...
×

采纳答案成功!

向帮助你的同学说点啥吧!感谢那些助人为乐的人

fit函数训练数据时每次读取的是filenames中一部分数据,是否有影响

老师,我看您写的代码,代码中每次读取一个parquet文件训练,这样是否会影响模型结果?是否需要全读取完成后再训练?

for filename in filenames:
	df = pd.read_parquet(filename)
	model.fit(
            [train_x1, train_x2, train_x3, train_x4], 
            。。。。
        )


正在回答 回答被采纳积分+3

1回答

Daniel 2022-11-04 10:52:55

不会影响的,即使全部读进来模型肯定也是一条一条记录的训练,所以没有必要哈。

而且全部读进内存对于大数据集而言几乎是不可能的

0 回复 有任何疑惑可以回复我~
  • 提问者 1107156171 #1
    是因为这个fit函数在调用时是在不断在原有模型基础上训练的嘛?所以才会不影响性能
    回复 有任何疑惑可以回复我~ 2022-11-04 11:14:21
  • Daniel #2
    嗯对的!没错
    绝大部分模型都是可以增量训练的哈
    回复 有任何疑惑可以回复我~ 2022-11-04 11:15:01
  • 提问者 1107156171 回复 Daniel #3
    好的,谢谢老师
    回复 有任何疑惑可以回复我~ 2022-11-05 08:10:21
问题已解决,确定采纳
还有疑问,暂不采纳
意见反馈 帮助中心 APP下载
官方微信