Python tf.data.experimental.CheckpointInputPipelineHook用法及代码示例

检查点每 N 步或秒输入管道状态。

继承自：SessionRunHook

用法

tf.data.experimental.CheckpointInputPipelineHook(
    estimator, external_state_policy=None
)

该钩子将迭代器的状态保存在Graph 中，以便在恢复训练时输入管道从中断处继续。这可以潜在地避免某些管道中的过度拟合，其中每个评估的训练步骤数与数据集大小相比较小，或者如果训练管道被抢占。

与 CheckpointSaverHook 的区别：

1. 仅保存 "iterators" 集合中的输入管道，而不保存全局变量或其他可保存对象。
2. 不将GraphDef 和MetaGraphDef 写入摘要。

检查点训练管道的示例：

est = tf.estimator.Estimator(model_fn)
while True:
  est.train(
      train_input_fn,
      hooks=[tf.data.experimental.CheckpointInputPipelineHook(est)],
      steps=train_steps_per_eval)
  # Note:We do not pass the hook here.
  metrics = est.evaluate(eval_input_fn)
  if should_stop_the_training(metrics):
    break

如果需要将输入管道状态与模型检查点分开保存，则应使用此挂钩。出于以下几个原因，这样做可能很有用：

1. 输入管道检查点可能很大，例如，如果有大的 shuffle 或预取缓冲区，并且可能会使检查点大小膨胀。
2. 如果输入管道在训练和验证之间共享，则在验证期间恢复检查点可能会覆盖验证输入管道。

为了将输入管道检查点与模型权重一起保存，请直接使用 tf.data.experimental.make_saveable_from_iterator 创建 SaveableObject 并添加到 SAVEABLE_OBJECTS 集合中。但是请注意，您需要注意不要在评估期间恢复训练迭代器。您可以通过在构建评估图时不将迭代器添加到 SAVEABLE_OBJECTS Collector来做到这一点。