Python tf.compat.v1.distribute.experimental.TPUStrategy用法及代碼示例

參數

• tpu_cluster_resolver 一個 tf.distribute.cluster_resolver.TPUClusterResolver，它提供有關 TPU 集群的信息。
• steps_per_run 返回主機之前在設備上運行的步驟數。請注意，這可以在性能、掛鉤、指標、摘要等方掩碼有 side-effects。此參數僅在與估計器或 keras 一起使用分發策略時使用。
• device_assignment 可選 tf.tpu.experimental.DeviceAssignment 指定副本在 TPU 集群上的位置。目前僅支持在 TPU 集群中使用單核的用例。

屬性

• cluster_resolver 返回與此策略關聯的集群解析器。

  一般來說，當使用multi-worker tf.distribute 策略如tf.distribute.experimental.MultiWorkerMirroredStrategy 或tf.distribute.TPUStrategy() 時，有一個tf.distribute.cluster_resolver.ClusterResolver 與所使用的策略相關聯，並且這樣的實例由該屬性返回。

  打算擁有關聯tf.distribute.cluster_resolver.ClusterResolver 的策略必須設置相關屬性，或覆蓋此屬性；否則，默認返回None。這些策略還應提供有關此屬性返回的內容的信息。

  Single-worker 策略通常沒有 tf.distribute.cluster_resolver.ClusterResolver ，在這些情況下，此屬性將返回 None 。

  當用戶需要訪問集群規範、任務類型或任務 ID 等信息時，tf.distribute.cluster_resolver.ClusterResolver 可能很有用。例如，

  os.environ['TF_CONFIG'] = json.dumps({
    'cluster':{
        'worker':["localhost:12345", "localhost:23456"],
        'ps':["localhost:34567"]
    },
    'task':{'type':'worker', 'index':0}
  })
  
  # This implicitly uses TF_CONFIG for the cluster and current task info.
  strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy()
  
  ...
  
  if strategy.cluster_resolver.task_type == 'worker':
    # Perform something that's only applicable on workers. Since we set this
    # as a worker above, this block will run on this particular instance.
  elif strategy.cluster_resolver.task_type == 'ps':
    # Perform something that's only applicable on parameter servers. Since we
    # set this as a worker above, this block will not run on this particular
    # instance.

  有關詳細信息，請參閱 tf.distribute.cluster_resolver.ClusterResolver 的 API 文檔字符串。

• extended tf.distribute.StrategyExtended 與其他方法。
• num_replicas_in_sync 返回聚合梯度的副本數。
• steps_per_run 已棄用：改用 .extended.steps_per_run。