Python tf.distribute.experimental.partitioners.MinSizePartitioner用法及代码示例

为每个分片分配最小大小的分区器。

继承自：Partitioner

用法

tf.distribute.experimental.partitioners.MinSizePartitioner(
    min_shard_bytes=(256 << 10), max_shards=1, bytes_per_string=16
)

参数

min_shard_bytes 每个分片的最小字节数。默认为 256K。
max_shards 分片数量的上限。默认为 1。
bytes_per_string 如果分区值是字符串类型，这将提供每个字符串大小的估计值。

该分区器确保每个分片至少有 min_shard_bytes ，并尝试分配尽可能多的分片，即保持分片大小尽可能小。此类分片的最大数量(上限)由 max_shards 给出。

例子：

partitioner = MinSizePartitioner(min_shard_bytes=4, max_shards=2)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[2, 1]
partitioner = MinSizePartitioner(min_shard_bytes=4, max_shards=10)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[6, 1]

# use in ParameterServerStrategy
# strategy = tf.distribute.experimental.ParameterServerStrategy(
#   cluster_resolver=cluster_resolver, variable_partitioner=partitioner)

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.distribute.experimental.partitioners.MinSizePartitioner。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。