Python tf.distribute.experimental.partitioners.MinSizePartitioner用法及代碼示例

為每個分片分配最小大小的分區器。

繼承自：Partitioner

用法

tf.distribute.experimental.partitioners.MinSizePartitioner(
    min_shard_bytes=(256 << 10), max_shards=1, bytes_per_string=16
)

參數

min_shard_bytes 每個分片的最小字節數。默認為 256K。
max_shards 分片數量的上限。默認為 1。
bytes_per_string 如果分區值是字符串類型，這將提供每個字符串大小的估計值。

該分區器確保每個分片至少有 min_shard_bytes ，並嘗試分配盡可能多的分片，即保持分片大小盡可能小。此類分片的最大數量(上限)由 max_shards 給出。

例子：

partitioner = MinSizePartitioner(min_shard_bytes=4, max_shards=2)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[2, 1]
partitioner = MinSizePartitioner(min_shard_bytes=4, max_shards=10)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[6, 1]

# use in ParameterServerStrategy
# strategy = tf.distribute.experimental.ParameterServerStrategy(
#   cluster_resolver=cluster_resolver, variable_partitioner=partitioner)

相關用法

注：本文由純淨天空篩選整理自tensorflow.org大神的英文原創作品 tf.distribute.experimental.partitioners.MinSizePartitioner。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。