tf.estimator的checkpoint保存策略修改

Question

老师，tf1中使用estimator.train生成的checkpoint默认情况下是随着训练迭代次数生成，如果我想采用通过验证集精度比较，存储验证集精度比上一次高的，我该怎么做呢

Answer 1

正十七 2021-07-10 23:13:46

同学你好，抱歉这么久才回答这个问题，我尝试了不少方法，但依赖tf的配置去实现似乎不可行。

你可以看https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/estimator/RunConfig

的细节，会发现没有设置是保存最好的模型，都是保存模型的间隔时间，间隔步数啥的。

但是还是有方法实现，那就是让train task和eval task分开单独运行。eval task用一个死循环实现，不停的去拉取最新的checkpoint，然后在valid dataset上去evaluate，如果比之前好，就把这个checkpoint拷贝到另外一个地方保存，防止被train task删掉。