Python tf.distribute.ReductionToOneDevice用法及代碼示例

將值複製到一個設備以減少的 CrossDeviceOps 實現。

用法

tf.distribute.ReductionToOneDevice(
    reduce_to_device=None, accumulation_fn=None
)

reduce_to_device 減少到的中間設備。如果為 None，則減少到 reduce 方法的 destinations 中的第一個設備。
accumulation_fn 一個做積累的函數。如果沒有，則使用tf.math.add_n。

此實現總是將值複製到一個設備以減少它們，然後將減少的值廣播到目的地。它不支持有效的批處理。

以下是在 tf.distribute.MirroredStrategy 中使用 ReductionToOneDevice 的方法：

strategy = tf.distribute.MirroredStrategy(
    cross_device_ops=tf.distribute.ReductionToOneDevice())

相關用法

注：本文由純淨天空篩選整理自tensorflow.org大神的英文原創作品 tf.distribute.ReductionToOneDevice。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。