Python tf.data.TextLineDataset.bucket_by_sequence_length用法及代码示例

用法

bucket_by_sequence_length(
    element_length_func, bucket_boundaries, bucket_batch_sizes, padded_shapes=None,
    padding_values=None, pad_to_bucket_boundary=False, no_padding=False,
    drop_remainder=False, name=None
)

参数

element_length_func 从 Dataset 到 tf.int32 中的元素的函数，确定元素的长度，这将确定它进入的桶。
bucket_boundaries list<int> ，桶的上长度边界。
bucket_batch_sizes list<int> ，每个桶的批量大小。长度应为 len(bucket_boundaries) + 1 。
padded_shapes tf.TensorShape 的嵌套结构传递给 tf.data.Dataset.padded_batch 。如果未提供，将使用 dataset.output_shapes ，这将导致可变长度维度在每批中被填充到最大长度。
padding_values 要填充的值，传递给 tf.data.Dataset.padded_batch 。默认填充为 0。
pad_to_bucket_boundary bool，如果 False ，将批量填充未知大小的尺寸到最大长度。如果 True ，会将未知大小的维度填充到桶边界减 1(即每个桶中的最大长度)，并且调用者必须确保源 Dataset 不包含任何长度超过 max(bucket_boundaries) 的元素。
no_padding bool ，表示是否填充批量特征(特征需要是tf.sparse.SparseTensor类型或相同形状)。
drop_remainder (可选。)一个 tf.bool 标量 tf.Tensor ，表示在最后一批少于 batch_size 元素的情况下是否应删除它；默认行为是不丢弃较小的批次。
name (可选。) tf.data 操作的名称。

一个Dataset。

抛出

ValueError 如果len(bucket_batch_sizes) != len(bucket_boundaries) + 1.

一种按长度对Dataset 中的元素进行分桶的转换。

Dataset 的元素按长度分组在一起，然后进行填充和批处理。

这对于元素具有可变长度的序列任务很有用。将具有相似长度的元素组合在一起可以减少批次中填充的总比例，从而提高训练步骤的效率。

下面是一个基于序列长度将输入数据分桶到 3 个桶“[0, 3), [3, 5), [5, inf)” 的示例，批量大小为 2。

elements = [
  [0], [1, 2, 3, 4], [5, 6, 7],
  [7, 8, 9, 10, 11], [13, 14, 15, 16, 19, 20], [21, 22]]
dataset = tf.data.Dataset.from_generator(
    lambda:elements, tf.int64, output_shapes=[None])
dataset = dataset.bucket_by_sequence_length(
        element_length_func=lambda elem:tf.shape(elem)[0],
        bucket_boundaries=[3, 5],
        bucket_batch_sizes=[2, 2, 2])
for elem in dataset.as_numpy_iterator():
  print(elem)
[[1 2 3 4]
[5 6 7 0]]
[[ 7  8  9 10 11  0]
[13 14 15 16 19 20]]
[[ 0  0]
[21 22]]

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.data.TextLineDataset.bucket_by_sequence_length。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法

参数

返回

抛出