Python tf.keras.layers.IntegerLookup用法及代碼示例

將整數特征映射到連續範圍的預處理層。

繼承自：PreprocessingLayer、Layer、Module

用法

tf.keras.layers.IntegerLookup(
    max_tokens=None, num_oov_indices=1, mask_token=None, oov_token=-1,
    vocabulary=None, vocabulary_dtype='int64', idf_weights=None,
    invert=False, output_mode='int', sparse=False,
    pad_to_max_tokens=False, **kwargs
)

該層通過基於表的詞匯表查找將一組任意整數輸入標記映射到索引整數輸出。該層的輸出索引將連續排列，直到最大詞匯大小，即使輸入標記是非連續的或無界的。該層支持通過 output_mode 對輸出進行編碼的多種選項，並可選擇支持詞匯表外 (OOV) 標記和掩碼。

該層的詞匯表必須在構造時提供或通過 adapt() 學習。在 adapt() 期間，該層將分析數據集，確定單個整數標記的頻率，並從中創建一個詞匯表。如果詞匯表的大小有上限，則最常用的標記將用於創建詞匯表，而所有其他標記將被視為 OOV。

該層有兩種可能的輸出模式。當 output_mode 為 "int" 時，輸入整數將轉換為它們在詞匯表中的索引(整數)。當 output_mode 為 "multi_hot" , "count" 或 "tf_idf" 時，輸入整數被編碼到一個數組中，其中每個維度對應於詞匯表中的一個元素。

詞匯表可以選擇性地包含掩碼標記和 OOV 標記(可以選擇性地占據詞匯表中的多個索引，由 num_oov_indices 設置)。這些標記在詞匯表中的位置是固定的。當 output_mode 為 "int" 時，詞匯表將從索引 0 處的掩碼標記開始，然後是 OOV 索引，然後是詞匯表的其餘部分。當 output_mode 為 "multi_hot" , "count" 或 "tf_idf" 時，詞匯表將以 OOV 索引開頭，並且將刪除掩碼標記的實例。

有關預處理層的概述和完整列表，請參閱預處理指南。

例子：

使用已知詞匯創建查找層

此示例使用預先存在的詞匯表創建查找層。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [42, 1000, 36]])  # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[1, 3, 4],
       [4, 0, 2]])>

使用經過調整的詞匯表創建查找層

此示例創建一個查找層並通過分析數據集生成詞匯表。

data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = tf.keras.layers.IntegerLookup()
layer.adapt(data)
layer.get_vocabulary()
[-1, 42, 1138, 1000, 36, 12]

請注意，OOV 標記 -1 已添加到詞匯表中。剩餘的標記按頻率排序(42，有 2 次出現，是第一個)，然後按逆排序順序。

data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = tf.keras.layers.IntegerLookup()
layer.adapt(data)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[5, 2, 1],
       [1, 3, 4]])>

具有多個 OOV 索引的查找

此示例演示如何使用具有多個 OOV 索引的查找層。當使用多個 OOV 索引創建層時，任何 OOV 令牌都會散列到 OOV 存儲桶的數量中，從而以確定性的方式在集合中分配 OOV 令牌。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [37, 1000, 36]])
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab, num_oov_indices=2)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[2, 4, 5],
       [1, 0, 3]])>

請注意，OOV 標記 37 的輸出為 1，而 OOV 標記 1000 的輸出為 0。in-vocab 術語的輸出索引從前麵的示例中增加了 1(12 映射到 2 等)，以便為額外的OOV令牌。

One-hot 輸出

使用 output_mode='one_hot' 配置層。請注意，ont_hot 編碼中的第一個 num_oov_indices 維度表示 OOV 值。

vocab = [12, 36, 1138, 42]
data = tf.constant([12, 36, 1138, 42, 7]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    vocabulary=vocab, output_mode='one_hot')
layer(data)
<tf.Tensor:shape=(5, 5), dtype=float32, numpy=
  array([[0., 1., 0., 0., 0.],
         [0., 0., 1., 0., 0.],
         [0., 0., 0., 1., 0.],
         [0., 0., 0., 0., 1.],
         [1., 0., 0., 0., 0.]], dtype=float32)>

Multi-hot 輸出

使用 output_mode='multi_hot' 配置層。請注意，multi_hot 編碼中的第一個 num_oov_indices 維度表示 OOV 令牌

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    vocabulary=vocab, output_mode='multi_hot')
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0., 1., 0., 1., 1.],
         [1., 0., 1., 0., 1.]], dtype=float32)>

令牌計數輸出

使用 output_mode='count' 配置層。與 multi_hot 輸出一樣，輸出中的第一個 num_oov_indices 維度表示 OOV 標記。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    vocabulary=vocab, output_mode='count')
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0., 1., 0., 1., 2.],
         [2., 0., 1., 0., 1.]], dtype=float32)>

TF-IDF 輸出

使用 output_mode='tf_idf' 配置層。與 multi_hot 輸出一樣，輸出中的第一個 num_oov_indices 維度表示 OOV 標記。

每個令牌箱將輸出 token_count * idf_weight ，其中 idf 權重是每個令牌的逆文檔頻率權重。這些應與詞匯一起提供。請注意，OOV 令牌的 idf_weight 將默認為傳入的所有 idf 權重的平均值。

vocab = [12, 36, 1138, 42]
idf_weights = [0.25, 0.75, 0.6, 0.4]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    output_mode='tf_idf', vocab, idf_weights=idf_weights)
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0.  , 0.25, 0.  , 0.6 , 0.8 ],
         [1.0 , 0.  , 0.75, 0.  , 0.4 ]], dtype=float32)>

要指定 oov 標記的 idf 權重，您需要傳遞整個詞匯表，包括前導 oov 標記。

vocab = [-1, 12, 36, 1138, 42]
idf_weights = [0.9, 0.25, 0.75, 0.6, 0.4]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    output_mode='tf_idf', vocab, idf_weights=idf_weights)
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0.  , 0.25, 0.  , 0.6 , 0.8 ],
         [1.8 , 0.  , 0.75, 0.  , 0.4 ]], dtype=float32)>

在tf_idf模式下適配層時，每個輸入樣本都將被視為一個文檔，每個令牌的idf權重將計算為log(1 + num_documents / (1 + token_document_count)).

逆向查找

此示例演示如何使用此層將索引映射到標記。 (您也可以將 adapt() 與 inverse=True 一起使用，但為簡單起見，我們將在此示例中傳遞詞匯。)

vocab = [12, 36, 1138, 42]
data = tf.constant([[1, 3, 4], [4, 0, 2]])
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab, invert=True)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[  12, 1138,   42],
       [  42,   -1,   36]])>

請注意，默認情況下，第一個索引對應於 oov 令牌。

正向和反向查找對

此示例演示如何使用標準查找層的詞匯表來創建反向查找層。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab)
i_layer = tf.keras.layers.IntegerLookup(
    vocabulary=layer.get_vocabulary(), invert=True)
int_data = layer(data)
i_layer(int_data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[  12, 1138,   42],
       [  42,   -1,   36]])>

在此示例中，輸入標記 1000 導致輸出 -1，因為 1000 不在詞匯表中 - 它被表示為 OOV，並且所有 OOV 標記在逆層中返回為 -1。另外，請注意，要使逆向工作，您必須在調用 get_vocabulary() 之前直接或通過 adapt() 設置前向層詞匯表。