Python tf.keras.layers.TextVectorization用法及代碼示例

將文本特征映射到整數序列的預處理層。

繼承自：PreprocessingLayer、Layer、Module

用法

tf.keras.layers.TextVectorization(
    max_tokens=None, standardize='lower_and_strip_punctuation',
    split='whitespace', ngrams=None, output_mode='int',
    output_sequence_length=None, pad_to_max_tokens=False, vocabulary=None,
    idf_weights=None, sparse=False, ragged=False, **kwargs
)

該層具有在 Keras 模型中管理文本的基本選項。它將一批字符串(一個示例 = 一個字符串)轉換為令牌索引列表(一個示例 = 整數令牌索引的 1D 張量)或密集表示(一個示例 = 表示有關示例令牌的數據的浮點值的 1D 張量)。該層旨在處理自然語言輸入。要處理簡單的字符串輸入(分類字符串或預標記字符串)，請參閱tf.keras.layers.StringLookup。

該層的詞匯表必須在構造時提供或通過 adapt() 學習。當這一層適應時，它將分析數據集，確定單個字符串值的頻率，並從中創建一個詞匯表。該詞匯表可以有無限大小或有上限，具體取決於該層的配置選項；如果輸入中的唯一值比最大詞匯量多，則將使用最常見的術語來創建詞匯表。

每個示例的處理包含以下步驟：

1. 標準化每個示例(通常是小寫+標點符號剝離)
2. 將每個示例拆分為子字符串(通常是單詞)
3. 將子字符串重新組合成標記(通常是 ngram)
4. 索引標記(將唯一的 int 值與每個標記相關聯)
5. 使用此索引將每個示例轉換為整數向量或密集浮點向量。

關於傳遞可調用對象以自定義此層的拆分和規範化的一些注意事項：

1. 任何可調用對象都可以傳遞給這個層，但是如果你想序列化這個對象，你應該隻傳遞注冊 Keras 可序列化的函數(參見tf.keras.utils.register_keras_serializable 了解更多詳細信息)。
2. 當為 standardize 使用自定義可調用對象時，可調用對象接收到的數據將與傳遞給該層的數據完全相同。可調用對象應返回與輸入形狀相同的張量。
3. 當為 split 使用自定義可調用對象時，可調用對象接收到的數據將擠出第一個維度 - 而不是 [["string to split"], ["another string to split"]] ，可調用對象將看到 ["string to split", "another string to split"] 。可調用對象應返回一個張量，其第一個維度包含拆分標記 - 在此示例中，我們應該看到類似 [["string", "to", "split"], ["another", "string", "to", "split"]] 的內容。這使得可調用站點與 tf.strings.split() 原生兼容。

有關預處理層的概述和完整列表，請參閱預處理指南。

例子：

此示例實例化一個 TextVectorization 層，該層將文本小寫、在空白處拆分、去除標點符號並輸出整數詞匯索引。

text_dataset = tf.data.Dataset.from_tensor_slices(["foo", "bar", "baz"])
max_features = 5000  # Maximum vocab size.
max_len = 4  # Sequence length to pad the outputs to.

# Create the layer.
vectorize_layer = tf.keras.layers.TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len)

# Now that the vocab layer has been created, call `adapt` on the text-only
# dataset to create the vocabulary. You don't have to batch, but for large
# datasets this means we're not keeping spare copies of the dataset.
vectorize_layer.adapt(text_dataset.batch(64))

# Create the model that uses the vectorize text layer
model = tf.keras.models.Sequential()

# Start by creating an explicit input layer. It needs to have a shape of
# (1,) (because we need to guarantee that there is exactly one string
# input per batch), and the dtype needs to be 'string'.
model.add(tf.keras.Input(shape=(1,), dtype=tf.string))

# The first layer in our model is the vectorization layer. After this
# layer, we have a tensor of shape (batch_size, max_len) containing vocab
# indices.
model.add(vectorize_layer)

# Now, the model can map strings to integers, and you can add an embedding
# layer to map these integers to learned embeddings.
input_data = [["foo qux bar"], ["qux baz"]]
model.predict(input_data)
array([[2, 1, 4, 0],
       [1, 3, 0, 0]])

例子：

此示例通過將詞匯術語列表傳遞給層的 __init__() 方法來實例化 TextVectorization 層。

vocab_data = ["earth", "wind", "and", "fire"]
max_len = 4  # Sequence length to pad the outputs to.

# Create the layer, passing the vocab directly. You can also pass the
# vocabulary arg a path to a file containing one vocabulary word per
# line.
vectorize_layer = tf.keras.layers.TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len,
 vocabulary=vocab_data)

# Because we've passed the vocabulary directly, we don't need to adapt
# the layer - the vocabulary is already set. The vocabulary contains the
# padding token ('') and OOV token ('[UNK]') as well as the passed tokens.
vectorize_layer.get_vocabulary()
['', '[UNK]', 'earth', 'wind', 'and', 'fire']