Python tf.distribute.experimental.CentralStorageStrategy.experimental_distribute_dataset用法及代码示例

用法

experimental_distribute_dataset(
    dataset, options=None
)

分发通过数据集提供的 tf.data.Dataset 实例。

返回的数据集是一个包装的策略数据集，它在后台创建了一个多设备迭代器。它将输入数据预取到工作器上的指定设备。返回的分布式数据集可以像常规数据集一样进行迭代。

注意：目前，用户无法向分布式数据集添加更多转换。

例如：

strategy = tf.distribute.CentralStorageStrategy()  # with 1 CPU and 1 GPU
dataset = tf.data.Dataset.range(10).batch(2)
dist_dataset = strategy.experimental_distribute_dataset(dataset)
for x in dist_dataset:
  print(x)  # Prints PerReplica values [0, 1], [2, 3],...

Args：数据集：tf.data.Dataset 要预取到设备。选项：tf.distribute.InputOptions 用于控制有关此数据集如何分布的选项。