Python tf.distribute.ReductionToOneDevice用法及代码示例

将值复制到一个设备以减少的 CrossDeviceOps 实现。

用法

tf.distribute.ReductionToOneDevice(
    reduce_to_device=None, accumulation_fn=None
)

reduce_to_device 减少到的中间设备。如果为 None，则减少到 reduce 方法的 destinations 中的第一个设备。
accumulation_fn 一个做积累的函数。如果没有，则使用tf.math.add_n。

此实现总是将值复制到一个设备以减少它们，然后将减少的值广播到目的地。它不支持有效的批处理。

以下是在 tf.distribute.MirroredStrategy 中使用 ReductionToOneDevice 的方法：

strategy = tf.distribute.MirroredStrategy(
    cross_device_ops=tf.distribute.ReductionToOneDevice())

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.distribute.ReductionToOneDevice。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。