Python tf.distribute.cluster_resolver.TFConfigClusterResolver用法及代码示例

读取TF_CONFIG EnvVar 的 ClusterResolver 的实现。

继承自：ClusterResolver

用法

tf.distribute.cluster_resolver.TFConfigClusterResolver(
    task_type=None, task_id=None, rpc_layer=None, environment=None
)

参数

task_type (字符串，可选)覆盖 TF_CONFIG 环境变量中指定的任务类型。
task_id (整数，可选)覆盖 TF_CONFIG 环境变量中指定的任务索引。
rpc_layer (字符串，可选)覆盖 TensorFlow 使用的 rpc 层。
environment (字符串，可选)覆盖 TensorFlow 运行的环境。

属性

environment 返回 TensorFlow 运行的当前环境。
有两个可能的返回值，"google"(当 TensorFlow 在 Google-internal 环境中运行时)或空字符串(当 TensorFlow 在其他地方运行时)。

如果您正在实现一个在 Google 环境和开源世界中都可以工作的 ClusterResolver(例如，TPU ClusterResolver 或类似的)，您将必须根据环境返回适当的字符串，您必须检测到该字符串。

否则，如果您正在实现仅在开源 TensorFlow 中工作的 ClusterResolver，则无需实现此属性。
rpc_layer

task_id 返回此任务 IDClusterResolver表示。

在 TensorFlow 分布式环境中，每个作业可能有一个适用的任务 id，它是实例在其任务类型中的索引。当用户需要根据任务索引运行特定代码时，这很有用。例如，

cluster_spec = tf.train.ClusterSpec({
    "ps":["localhost:2222", "localhost:2223"],
    "worker":["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=0)

...

if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
  # Perform something that's only applicable on 'worker' type, id 0. This
  # block will run on this particular instance since we've specified this
  # task to be a 'worker', id 0 in above cluster resolver.
else:
  # Perform something that's only applicable on other ids. This block will
  # not run on this particular instance.

如果此类信息不可用或不适用于当前分布式环境(例如使用 tf.distribute.cluster_resolver.TPUClusterResolver 进行训练)，则返回 None。

有关详细信息，请参阅 tf.distribute.cluster_resolver.ClusterResolver 的类文档字符串。

task_type
返回此任务类型ClusterResolver表示。
在 TensorFlow 分布式环境中，每个作业都可能有一个适用的任务类型。 TensorFlow 中的有效任务类型包括 'chief'：被指定承担更多责任的工作人员、'worker'：用于训练/评估的常规工作人员、'ps'：参数服务器或 'evaluator'：评估检查点的评估程序用于指标。

有关最常用的'chief' 和'worker' 任务类型的更多信息，请参阅Multi-worker 配置。

当用户需要根据任务类型运行特定代码时，访问此类信息非常有用。例如，
```
cluster_spec = tf.train.ClusterSpec({
    "ps":["localhost:2222", "localhost:2223"],
    "worker":["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=1)

...

if cluster_resolver.task_type == 'worker':
  # Perform something that's only applicable on workers. This block
  # will run on this particular instance since we've specified this task to
  # be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
  # Perform something that's only applicable on parameter servers. This
  # block will not run on this particular instance.
```
如果此类信息不可用或不适用于当前分布式环境(例如使用 tf.distribute.experimental.TPUStrategy 进行训练)，则返回 None。

有关详细信息，请参阅 tf.distribute.cluster_resolver.ClusterResolver 的课程文档。

这是使用TF_CONFIG 设置集群信息时集群解析器的实现。返回的集群规范将从 TF_CONFIG 环境变量初始化。

设置 TF_CONFIG 的示例是：

os.environ['TF_CONFIG'] = json.dumps({
    'cluster':{
        'worker':["localhost:12345", "localhost:23456"]
    },
    'task':{'type':'worker', 'index':0}
  })

但是，有时容器编排框架会为您设置TF_CONFIG。在这种情况下，您可以只创建一个实例而不传递任何参数。你可以在这里找到一个例子让 Kuburnetes 为你设置TF_CONFIG：https://github.com/tensorflow/ecosystem/tree/master/kubernetes。然后您可以将其与 tf.distribute.Strategy 一起使用：

# `TFConfigClusterResolver` is already the default one in the following
  # strategy.
  strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
      cluster_resolver=TFConfigClusterResolver())

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.distribute.cluster_resolver.TFConfigClusterResolver。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。