Python tf.keras.layers.Attention用法及代碼示例

Dot-product 注意層，又名Luong-style 注意。

繼承自：Layer，Module

用法

tf.keras.layers.Attention(
    use_scale=False, **kwargs
)

輸入是 query 形狀的張量 [batch_size, Tq, dim] , value 形狀的 [batch_size, Tv, dim] 和 key 形狀的張量 [batch_size, Tv, dim] 。計算步驟如下：

1. 將形狀 [batch_size, Tq, Tv] 的分數計算為 query - key 點積：scores = tf.matmul(query, key, transpose_b=True)。
2. 使用分數來計算形狀為 [batch_size, Tq, Tv] : distribution = tf.nn.softmax(scores) 的分布。
3. 使用 distribution 創建 value 與形狀 [batch_size, Tq, dim] 的線性組合：return tf.matmul(distribution, value)。

調用參數：

• inputs:以下張量列表：
  • 查詢：查詢形狀為 [batch_size, Tq, dim] 的 Tensor 。
  • 值：形狀 [batch_size, Tv, dim] 的值 Tensor。
  • 鍵：形狀為[batch_size, Tv, dim]的可選鍵Tensor。如果沒有給出，將對 key 和 value 使用 value ，這是最常見的情況。
• mask:以下張量列表：
  • query_mask：布爾掩碼 Tensor 形狀為 [batch_size, Tq] 。如果給定，輸出將在 mask==False 的位置為零。
  • value_mask：布爾掩碼 Tensor 形狀為 [batch_size, Tv] 。如果給定，將應用掩碼以使mask==False 位置處的值對結果沒有貢獻。
• return_attention_scores：布爾，它True，返回注意力分數(在屏蔽和 softmax 之後)作為附加輸出參數。
• training:Python 布爾值，指示層應該在訓練模式(添加 dropout)還是在推理模式(無 dropout)下運行。

輸出：

形狀 [batch_size, Tq, dim] 的注意輸出。 [可選] 使用形狀 [batch_size, Tq, Tv] 進行遮罩和 softmax 後的注意力得分。

query , value 和key 的含義取決於應用程序。例如，在文本相似度的情況下，query 是第一段文本的序列嵌入，value 是第二段文本的序列嵌入。 key 通常與 value 是相同的張量。

下麵是在 CNN+Attention 網絡中使用 Attention 的代碼示例：

# Variable-length int sequences.
query_input = tf.keras.Input(shape=(None,), dtype='int32')
value_input = tf.keras.Input(shape=(None,), dtype='int32')

# Embedding lookup.
token_embedding = tf.keras.layers.Embedding(input_dim=1000, output_dim=64)
# Query embeddings of shape [batch_size, Tq, dimension].
query_embeddings = token_embedding(query_input)
# Value embeddings of shape [batch_size, Tv, dimension].
value_embeddings = token_embedding(value_input)

# CNN layer.
cnn_layer = tf.keras.layers.Conv1D(
    filters=100,
    kernel_size=4,
    # Use 'same' padding so outputs have the same shape as inputs.
    padding='same')
# Query encoding of shape [batch_size, Tq, filters].
query_seq_encoding = cnn_layer(query_embeddings)
# Value encoding of shape [batch_size, Tv, filters].
value_seq_encoding = cnn_layer(value_embeddings)

# Query-value attention of shape [batch_size, Tq, filters].
query_value_attention_seq = tf.keras.layers.Attention()(
    [query_seq_encoding, value_seq_encoding])

# Reduce over the sequence axis to produce encodings of shape
# [batch_size, filters].
query_encoding = tf.keras.layers.GlobalAveragePooling1D()(
    query_seq_encoding)
query_value_attention = tf.keras.layers.GlobalAveragePooling1D()(
    query_value_attention_seq)

# Concatenate query and document encodings to produce a DNN input layer.
input_layer = tf.keras.layers.Concatenate()(
    [query_encoding, query_value_attention])

# Add DNN layers, and create Model.
# ...