Python tf.keras.layers.Embedding用法及代码示例

将正整数(索引)转换为固定大小的密集向量。

继承自：Layer，Module

用法

tf.keras.layers.Embedding(
    input_dim, output_dim, embeddings_initializer='uniform',
    embeddings_regularizer=None, activity_regularizer=None,
    embeddings_constraint=None, mask_zero=False, input_length=None, **kwargs
)

例如[[4], [20]] -> [[0.25, 0.1], [0.6, -0.2]]

该层只能用于固定范围的正整数输入。 tf.keras.layers.TextVectorization 、 tf.keras.layers.StringLookup 和 tf.keras.layers.IntegerLookup 预处理层可以帮助为 Embedding 层准备输入。

该层接受 tf.Tensor 和 tf.RaggedTensor 输入。它不能用tf.SparseTensor 输入调用。

例子：

model = tf.keras.Sequential()
model.add(tf.keras.layers.Embedding(1000, 64, input_length=10))
# The model will take as input an integer matrix of size (batch,
# input_length), and the largest integer (i.e. word index) in the input
# should be no larger than 999 (vocabulary size).
# Now model.output_shape is (None, 10, 64), where `None` is the batch
# dimension.
input_array = np.random.randint(1000, size=(32, 10))
model.compile('rmsprop', 'mse')
output_array = model.predict(input_array)
print(output_array.shape)
(32, 10, 64)

输入形状：

具有形状的二维张量：(batch_size, input_length)。

输出形状：

具有形状的 3D 张量：(batch_size, input_length, output_dim)。

变量放置注意事项：默认情况下，如果 GPU 可用，则嵌入矩阵将放置在 GPU 上。这可以获得最佳性能，但可能会导致问题：

• 您可能正在使用不支持稀疏 GPU 内核的优化器。在这种情况下，您将在训练模型时看到错误。
• 您的嵌入矩阵可能太大而无法放入您的 GPU。在这种情况下，您将看到内存不足 (OOM) 错误。

在这种情况下，您应该将嵌入矩阵放在 CPU 内存中。您可以使用设备范围执行此操作，例如：

with tf.device('cpu:0'):
  embedding_layer = Embedding(...)
  embedding_layer.build()

然后可以将预构建的 embedding_layer 实例添加到 Sequential 模型(例如 model.add(embedding_layer) )，在函数模型中调用(例如 x = embedding_layer(x) )，或在子类模型中使用。