Python tf.data.TextLineDataset.unique用法及代码示例

用法

unique(
    name=None
)

丢弃 Dataset 的重复元素的转换。

使用此转换生成一个数据集，该数据集包含输入中每个唯一元素的一个实例。例如：

dataset = tf.data.Dataset.from_tensor_slices([1, 37, 2, 37, 2, 1])
dataset = dataset.unique()
sorted(list(dataset.as_numpy_iterator()))
[1, 2, 37]

注意：此转换仅支持适合内存且具有 tf.int32 、 tf.int64 或 tf.string 类型元素的数据集。