Python tf.distribute.experimental.partitioners.MaxSizePartitioner用法及代码示例

将分片保持在 max_shard_bytes 之下的分区器。

继承自：Partitioner

用法

tf.distribute.experimental.partitioners.MaxSizePartitioner(
    max_shard_bytes, max_shards=None, bytes_per_string=16
)

参数

max_shard_bytes 允许任何给定分片的最大大小。
max_shards int 中创建的最大分片数优先于 max_shard_bytes 。
bytes_per_string 如果分区值是字符串类型，这将提供每个字符串大小的估计值。

该分区器确保每个分片最多有 max_shard_bytes ，并尝试分配尽可能少的分片，即保持分片大小尽可能大。

如果分区器达到 max_shards 限制，则每个分片最终可能会大于 max_shard_bytes 。默认情况下 max_shards 等于 None 并且对分片数量没有强制执行限制。

例子：

partitioner = MaxSizePartitioner(max_shard_bytes=4)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[6, 1]
partitioner = MaxSizePartitioner(max_shard_bytes=4, max_shards=2)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[2, 1]
partitioner = MaxSizePartitioner(max_shard_bytes=1024)
partitions = partitioner(tf.TensorShape([6, 1]), tf.float32)
[1, 1]

# use in ParameterServerStrategy
# strategy = tf.distribute.experimental.ParameterServerStrategy(
#   cluster_resolver=cluster_resolver, variable_partitioner=partitioner)

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.distribute.experimental.partitioners.MaxSizePartitioner。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。