Python tf.distribute.experimental.CentralStorageStrategy.experimental_distribute_dataset用法及代碼示例

用法

experimental_distribute_dataset(
    dataset, options=None
)

分發通過數據集提供的 tf.data.Dataset 實例。

返回的數據集是一個包裝的策略數據集，它在後台創建了一個多設備迭代器。它將輸入數據預取到工作器上的指定設備。返回的分布式數據集可以像常規數據集一樣進行迭代。

注意：目前，用戶無法向分布式數據集添加更多轉換。

例如：

strategy = tf.distribute.CentralStorageStrategy()  # with 1 CPU and 1 GPU
dataset = tf.data.Dataset.range(10).batch(2)
dist_dataset = strategy.experimental_distribute_dataset(dataset)
for x in dist_dataset:
  print(x)  # Prints PerReplica values [0, 1], [2, 3],...

Args：數據集：tf.data.Dataset 要預取到設備。選項：tf.distribute.InputOptions 用於控製有關此數據集如何分布的選項。