Python tf.compat.v1.distribute.Strategy用法及代码示例

属性

• cluster_resolver 返回与此策略关联的集群解析器。

  一般来说，当使用multi-worker tf.distribute 策略如tf.distribute.experimental.MultiWorkerMirroredStrategy 或tf.distribute.TPUStrategy() 时，有一个tf.distribute.cluster_resolver.ClusterResolver 与所使用的策略相关联，并且这样的实例由该属性返回。

  打算拥有关联tf.distribute.cluster_resolver.ClusterResolver 的策略必须设置相关属性，或覆盖此属性；否则，默认返回None。这些策略还应提供有关此属性返回的内容的信息。

  Single-worker 策略通常没有 tf.distribute.cluster_resolver.ClusterResolver ，在这些情况下，此属性将返回 None 。

  当用户需要访问集群规范、任务类型或任务 ID 等信息时，tf.distribute.cluster_resolver.ClusterResolver 可能很有用。例如，

  os.environ['TF_CONFIG'] = json.dumps({
    'cluster':{
        'worker':["localhost:12345", "localhost:23456"],
        'ps':["localhost:34567"]
    },
    'task':{'type':'worker', 'index':0}
  })
  
  # This implicitly uses TF_CONFIG for the cluster and current task info.
  strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy()
  
  ...
  
  if strategy.cluster_resolver.task_type == 'worker':
    # Perform something that's only applicable on workers. Since we set this
    # as a worker above, this block will run on this particular instance.
  elif strategy.cluster_resolver.task_type == 'ps':
    # Perform something that's only applicable on parameter servers. Since we
    # set this as a worker above, this block will not run on this particular
    # instance.

  有关详细信息，请参阅 tf.distribute.cluster_resolver.ClusterResolver 的 API 文档字符串。

• extended tf.distribute.StrategyExtended 与其他方法。
• num_replicas_in_sync 返回聚合梯度的副本数。