Python tf.keras.layers.IntegerLookup用法及代码示例

将整数特征映射到连续范围的预处理层。

继承自：PreprocessingLayer、Layer、Module

用法

tf.keras.layers.IntegerLookup(
    max_tokens=None, num_oov_indices=1, mask_token=None, oov_token=-1,
    vocabulary=None, vocabulary_dtype='int64', idf_weights=None,
    invert=False, output_mode='int', sparse=False,
    pad_to_max_tokens=False, **kwargs
)

该层通过基于表的词汇表查找将一组任意整数输入标记映射到索引整数输出。该层的输出索引将连续排列，直到最大词汇大小，即使输入标记是非连续的或无界的。该层支持通过 output_mode 对输出进行编码的多种选项，并可选择支持词汇表外 (OOV) 标记和掩码。

该层的词汇表必须在构造时提供或通过 adapt() 学习。在 adapt() 期间，该层将分析数据集，确定单个整数标记的频率，并从中创建一个词汇表。如果词汇表的大小有上限，则最常用的标记将用于创建词汇表，而所有其他标记将被视为 OOV。

该层有两种可能的输出模式。当 output_mode 为 "int" 时，输入整数将转换为它们在词汇表中的索引(整数)。当 output_mode 为 "multi_hot" , "count" 或 "tf_idf" 时，输入整数被编码到一个数组中，其中每个维度对应于词汇表中的一个元素。

词汇表可以选择性地包含掩码标记和 OOV 标记(可以选择性地占据词汇表中的多个索引，由 num_oov_indices 设置)。这些标记在词汇表中的位置是固定的。当 output_mode 为 "int" 时，词汇表将从索引 0 处的掩码标记开始，然后是 OOV 索引，然后是词汇表的其余部分。当 output_mode 为 "multi_hot" , "count" 或 "tf_idf" 时，词汇表将以 OOV 索引开头，并且将删除掩码标记的实例。

有关预处理层的概述和完整列表，请参阅预处理指南。

例子：

使用已知词汇创建查找层

此示例使用预先存在的词汇表创建查找层。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [42, 1000, 36]])  # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[1, 3, 4],
       [4, 0, 2]])>

使用经过调整的词汇表创建查找层

此示例创建一个查找层并通过分析数据集生成词汇表。

data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = tf.keras.layers.IntegerLookup()
layer.adapt(data)
layer.get_vocabulary()
[-1, 42, 1138, 1000, 36, 12]

请注意，OOV 标记 -1 已添加到词汇表中。剩余的标记按频率排序(42，有 2 次出现，是第一个)，然后按逆排序顺序。

data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = tf.keras.layers.IntegerLookup()
layer.adapt(data)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[5, 2, 1],
       [1, 3, 4]])>

具有多个 OOV 索引的查找

此示例演示如何使用具有多个 OOV 索引的查找层。当使用多个 OOV 索引创建层时，任何 OOV 令牌都会散列到 OOV 存储桶的数量中，从而以确定性的方式在集合中分配 OOV 令牌。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [37, 1000, 36]])
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab, num_oov_indices=2)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[2, 4, 5],
       [1, 0, 3]])>

请注意，OOV 标记 37 的输出为 1，而 OOV 标记 1000 的输出为 0。in-vocab 术语的输出索引从前面的示例中增加了 1(12 映射到 2 等)，以便为额外的OOV令牌。

One-hot 输出

使用 output_mode='one_hot' 配置层。请注意，ont_hot 编码中的第一个 num_oov_indices 维度表示 OOV 值。

vocab = [12, 36, 1138, 42]
data = tf.constant([12, 36, 1138, 42, 7]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    vocabulary=vocab, output_mode='one_hot')
layer(data)
<tf.Tensor:shape=(5, 5), dtype=float32, numpy=
  array([[0., 1., 0., 0., 0.],
         [0., 0., 1., 0., 0.],
         [0., 0., 0., 1., 0.],
         [0., 0., 0., 0., 1.],
         [1., 0., 0., 0., 0.]], dtype=float32)>

Multi-hot 输出

使用 output_mode='multi_hot' 配置层。请注意，multi_hot 编码中的第一个 num_oov_indices 维度表示 OOV 令牌

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    vocabulary=vocab, output_mode='multi_hot')
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0., 1., 0., 1., 1.],
         [1., 0., 1., 0., 1.]], dtype=float32)>

令牌计数输出

使用 output_mode='count' 配置层。与 multi_hot 输出一样，输出中的第一个 num_oov_indices 维度表示 OOV 标记。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    vocabulary=vocab, output_mode='count')
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0., 1., 0., 1., 2.],
         [2., 0., 1., 0., 1.]], dtype=float32)>

TF-IDF 输出

使用 output_mode='tf_idf' 配置层。与 multi_hot 输出一样，输出中的第一个 num_oov_indices 维度表示 OOV 标记。

每个令牌箱将输出 token_count * idf_weight ，其中 idf 权重是每个令牌的逆文档频率权重。这些应与词汇一起提供。请注意，OOV 令牌的 idf_weight 将默认为传入的所有 idf 权重的平均值。

vocab = [12, 36, 1138, 42]
idf_weights = [0.25, 0.75, 0.6, 0.4]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    output_mode='tf_idf', vocab, idf_weights=idf_weights)
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0.  , 0.25, 0.  , 0.6 , 0.8 ],
         [1.0 , 0.  , 0.75, 0.  , 0.4 ]], dtype=float32)>

要指定 oov 标记的 idf 权重，您需要传递整个词汇表，包括前导 oov 标记。

vocab = [-1, 12, 36, 1138, 42]
idf_weights = [0.9, 0.25, 0.75, 0.6, 0.4]
data = tf.constant([[12, 1138, 42, 42], [42, 7, 36, 7]]) # Note OOV tokens
layer = tf.keras.layers.IntegerLookup(
    output_mode='tf_idf', vocab, idf_weights=idf_weights)
layer(data)
<tf.Tensor:shape=(2, 5), dtype=float32, numpy=
  array([[0.  , 0.25, 0.  , 0.6 , 0.8 ],
         [1.8 , 0.  , 0.75, 0.  , 0.4 ]], dtype=float32)>

在tf_idf模式下适配层时，每个输入样本都将被视为一个文档，每个令牌的idf权重将计算为log(1 + num_documents / (1 + token_document_count)).

逆向查找

此示例演示如何使用此层将索引映射到标记。 (您也可以将 adapt() 与 inverse=True 一起使用，但为简单起见，我们将在此示例中传递词汇。)

vocab = [12, 36, 1138, 42]
data = tf.constant([[1, 3, 4], [4, 0, 2]])
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab, invert=True)
layer(data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[  12, 1138,   42],
       [  42,   -1,   36]])>

请注意，默认情况下，第一个索引对应于 oov 令牌。

正向和反向查找对

此示例演示如何使用标准查找层的词汇表来创建反向查找层。

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = tf.keras.layers.IntegerLookup(vocabulary=vocab)
i_layer = tf.keras.layers.IntegerLookup(
    vocabulary=layer.get_vocabulary(), invert=True)
int_data = layer(data)
i_layer(int_data)
<tf.Tensor:shape=(2, 3), dtype=int64, numpy=
array([[  12, 1138,   42],
       [  42,   -1,   36]])>

在此示例中，输入标记 1000 导致输出 -1，因为 1000 不在词汇表中 - 它被表示为 OOV，并且所有 OOV 标记在逆层中返回为 -1。另外，请注意，要使逆向工作，您必须在调用 get_vocabulary() 之前直接或通过 adapt() 设置前向层词汇表。