Python tf.compat.v1.train.Supervisor用法及代码示例

检查点模型和计算摘要的训练助手。

用法

tf.compat.v1.train.Supervisor(
    graph=None, ready_op=USE_DEFAULT, ready_for_local_init_op=USE_DEFAULT,
    is_chief=True, init_op=USE_DEFAULT, init_feed_dict=None,
    local_init_op=USE_DEFAULT, logdir=None, summary_op=USE_DEFAULT,
    saver=USE_DEFAULT, global_step=USE_DEFAULT, save_summaries_secs=120,
    save_model_secs=600, recovery_wait_secs=30, stop_grace_secs=120,
    checkpoint_basename='model.ckpt', session_manager=None,
    summary_writer=USE_DEFAULT, init_fn=None, local_init_run_options=None
)

此类已弃用。请改用tf.compat.v1.train.MonitoredTrainingSession。

Supervisor 是围绕 Coordinator 、 Saver 和 SessionManager 的小型包装器，可满足 TensorFlow 训练程序的常见需求。

用于单个程序

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that will checkpoint the model in '/tmp/mydir'.
  sv = Supervisor(logdir='/tmp/mydir')
  # Get a TensorFlow session managed by the supervisor.
  with sv.managed_session(FLAGS.master) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

在with sv.managed_session() 块中，图中的所有变量都已初始化。此外，已经启动了一些服务来检查模型并将摘要添加到事件日志中。

如果程序崩溃并重新启动，托管会话会自动从最近的检查点重新初始化变量。

主管会收到由其中一项服务引发的任何异常通知。引发异常后，should_stop() 返回 True。在这种情况下，训练循环也应该停止。这就是为什么训练循环必须检查 sv.should_stop() 的原因。

指示训练输入已用尽的异常 tf.errors.OutOfRangeError 也会导致 sv.should_stop() 返回 True 但不会从 with 块重新引发：它们表示正常终止。

用于多个副本

要使用副本进行训练，您可以在 Cluster 中部署相同的程序。其中一项任务必须被确定为首要任务：处理初始化、检查点、摘要和恢复的任务。其他任务取决于这些服务的负责人。

您必须对单个程序代码进行的唯一更改是指示该程序是否作为主程序运行。

# Choose a task as the chief. This could be based on server_def.task_index,
# or job_def.name, or job_def.tasks. It's entirely up to the end user.
# But there can be only one *chief*.
is_chief = (server_def.task_index == 0)
server = tf.distribute.Server(server_def)

with tf.Graph().as_default():
  ...add operations to the graph...
  # Create a Supervisor that uses log directory on a shared file system.
  # Indicate if you are the 'chief'
  sv = Supervisor(logdir='/shared_directory/...', is_chief=is_chief)
  # Get a Session in a TensorFlow server on the cluster.
  with sv.managed_session(server.target) as sess:
    # Use the session to train the graph.
    while not sv.should_stop():
      sess.run(<my_train_op>)

在主要任务中，Supervisor 的工作方式与上面的第一个示例完全相同。在其他任务中，sv.managed_session() 等待模型初始化，然后再将会话返回到训练代码。非主要任务依赖于初始化模型的主要任务。

如果其中一项任务崩溃并重新启动，managed_session() 检查模型是否已初始化。如果是，它只是创建一个会话并将其返回给正常进行的训练代码。如果模型需要初始化，主要任务负责重新初始化它；其他任务只是等待模型初始化。

注意：这个修改后的程序仍然可以作为单个程序正常工作。单个程序将自己标记为首席。

使用什么master 字符串

无论您是在您的机器上还是在集群中运行，您都可以为 --master 标志使用以下值：

• 指定 '' 请求不使用 RPC 的 in-process 会话。

• 指定 'local' 请求使用基于 RPC 的 "Master interface" 运行 TensorFlow 程序的会话。有关详细信息，请参阅tf.train.Server.create_local_server。

• 指定 'grpc://hostname:port' 请求使用 RPC 接口到特定主机的会话，并且还允许 in-process master 访问远程 tensorflow worker。通常，传递server.target 是合适的(对于一些名为`server 的tf.distribute.Server)。

高级使用

启动附加服务

managed_session() 启动检查点和摘要服务(线程)。如果您需要运行更多服务，您只需在 managed_session() 控制的块中启动它们即可。

示例：启动一个线程来打印损失。我们希望这个线程每 60 秒运行一次，所以我们使用 sv.loop() 启动它。

...
sv = Supervisor(logdir='/tmp/mydir')
with sv.managed_session(FLAGS.master) as sess:
  sv.loop(60, print_loss, (sess, ))
  while not sv.should_stop():
    sess.run(my_train_op)

启动更少的服务

managed_session() 启动 "summary" 和 "checkpoint" 线程，它们使用可选的 summary_op 和 saver 传递给构造函数，或者由主管自动创建的默认线程。如果要运行自己的摘要和检查点逻辑，请通过将None 传递给summary_op 和saver 参数来禁用这些服务。

示例：在主管中每 100 步手动创建摘要。

# Create a Supervisor with no automatic summaries.
sv = Supervisor(logdir='/tmp/mydir', is_chief=is_chief, summary_op=None)
# As summary_op was None, managed_session() does not start the
# summary thread.
with sv.managed_session(FLAGS.master) as sess:
  for step in range(1000000):
    if sv.should_stop():
      break
    if is_chief and step % 100 == 0:
      # Create the summary every 100 chief steps.
      sv.summary_computed(sess, sess.run(my_summary_op))
    else:
      # Train normally
      sess.run(my_train_op)

自定义模型初始化

managed_session() 仅支持通过运行 init_op 或从最新检查点恢复来初始化模型。如果您有特殊的初始化需求，请参阅创建主管时如何指定local_init_op。您也可以直接使用SessionManager 创建会话并检查它是否可以自动初始化。