Python tf.keras.layers.TextVectorization用法及代码示例

将文本特征映射到整数序列的预处理层。

继承自：PreprocessingLayer、Layer、Module

用法

tf.keras.layers.TextVectorization(
    max_tokens=None, standardize='lower_and_strip_punctuation',
    split='whitespace', ngrams=None, output_mode='int',
    output_sequence_length=None, pad_to_max_tokens=False, vocabulary=None,
    idf_weights=None, sparse=False, ragged=False, **kwargs
)

该层具有在 Keras 模型中管理文本的基本选项。它将一批字符串(一个示例 = 一个字符串)转换为令牌索引列表(一个示例 = 整数令牌索引的 1D 张量)或密集表示(一个示例 = 表示有关示例令牌的数据的浮点值的 1D 张量)。该层旨在处理自然语言输入。要处理简单的字符串输入(分类字符串或预标记字符串)，请参阅tf.keras.layers.StringLookup。

该层的词汇表必须在构造时提供或通过 adapt() 学习。当这一层适应时，它将分析数据集，确定单个字符串值的频率，并从中创建一个词汇表。该词汇表可以有无限大小或有上限，具体取决于该层的配置选项；如果输入中的唯一值比最大词汇量多，则将使用最常见的术语来创建词汇表。

每个示例的处理包含以下步骤：

1. 标准化每个示例(通常是小写+标点符号剥离)
2. 将每个示例拆分为子字符串(通常是单词)
3. 将子字符串重新组合成标记(通常是 ngram)
4. 索引标记(将唯一的 int 值与每个标记相关联)
5. 使用此索引将每个示例转换为整数向量或密集浮点向量。

关于传递可调用对象以自定义此层的拆分和规范化的一些注意事项：

1. 任何可调用对象都可以传递给这个层，但是如果你想序列化这个对象，你应该只传递注册 Keras 可序列化的函数(参见tf.keras.utils.register_keras_serializable 了解更多详细信息)。
2. 当为 standardize 使用自定义可调用对象时，可调用对象接收到的数据将与传递给该层的数据完全相同。可调用对象应返回与输入形状相同的张量。
3. 当为 split 使用自定义可调用对象时，可调用对象接收到的数据将挤出第一个维度 - 而不是 [["string to split"], ["another string to split"]] ，可调用对象将看到 ["string to split", "another string to split"] 。可调用对象应返回一个张量，其第一个维度包含拆分标记 - 在此示例中，我们应该看到类似 [["string", "to", "split"], ["another", "string", "to", "split"]] 的内容。这使得可调用站点与 tf.strings.split() 原生兼容。

有关预处理层的概述和完整列表，请参阅预处理指南。

例子：

此示例实例化一个 TextVectorization 层，该层将文本小写、在空白处拆分、去除标点符号并输出整数词汇索引。

text_dataset = tf.data.Dataset.from_tensor_slices(["foo", "bar", "baz"])
max_features = 5000  # Maximum vocab size.
max_len = 4  # Sequence length to pad the outputs to.

# Create the layer.
vectorize_layer = tf.keras.layers.TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len)

# Now that the vocab layer has been created, call `adapt` on the text-only
# dataset to create the vocabulary. You don't have to batch, but for large
# datasets this means we're not keeping spare copies of the dataset.
vectorize_layer.adapt(text_dataset.batch(64))

# Create the model that uses the vectorize text layer
model = tf.keras.models.Sequential()

# Start by creating an explicit input layer. It needs to have a shape of
# (1,) (because we need to guarantee that there is exactly one string
# input per batch), and the dtype needs to be 'string'.
model.add(tf.keras.Input(shape=(1,), dtype=tf.string))

# The first layer in our model is the vectorization layer. After this
# layer, we have a tensor of shape (batch_size, max_len) containing vocab
# indices.
model.add(vectorize_layer)

# Now, the model can map strings to integers, and you can add an embedding
# layer to map these integers to learned embeddings.
input_data = [["foo qux bar"], ["qux baz"]]
model.predict(input_data)
array([[2, 1, 4, 0],
       [1, 3, 0, 0]])

例子：

此示例通过将词汇术语列表传递给层的 __init__() 方法来实例化 TextVectorization 层。

vocab_data = ["earth", "wind", "and", "fire"]
max_len = 4  # Sequence length to pad the outputs to.

# Create the layer, passing the vocab directly. You can also pass the
# vocabulary arg a path to a file containing one vocabulary word per
# line.
vectorize_layer = tf.keras.layers.TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len,
 vocabulary=vocab_data)

# Because we've passed the vocabulary directly, we don't need to adapt
# the layer - the vocabulary is already set. The vocabulary contains the
# padding token ('') and OOV token ('[UNK]') as well as the passed tokens.
vectorize_layer.get_vocabulary()
['', '[UNK]', 'earth', 'wind', 'and', 'fire']