Python tf.data.TextLineDataset.unbatch用法及代码示例

用法

unbatch(
    name=None
)

将数据集的元素拆分为多个元素。

例如，如果数据集的元素形状为 [B, a0, a1, ...] ，其中每个输入元素的 B 可能会有所不同，那么对于数据集中的每个元素，未批处理的数据集将包含形状为 [a0, a1, ...] 的 B 连续元素。

elements = [ [1, 2, 3], [1, 2], [1, 2, 3, 4] ]
dataset = tf.data.Dataset.from_generator(lambda:elements, tf.int64)
dataset = dataset.unbatch()
list(dataset.as_numpy_iterator())
[1, 2, 3, 1, 2, 1, 2, 3, 4]

注意：unbatch 需要数据副本来将批处理张量分割成更小的、未批处理的张量。在优化性能时，尽量避免不必要地使用 unbatch 。