Python tf.keras.layers.experimental.RandomFourierFeatures用法及代碼示例

將其輸入投影到隨機特征空間的層。

繼承自：Layer，Module

用法

tf.keras.layers.experimental.RandomFourierFeatures(
    output_dim, kernel_initializer='gaussian', scale=None,
    trainable=False, name=None, **kwargs
)

該層實現了從輸入空間到具有output_dim 維度的空間的映射，這近似於shift-invariant 內核。內核函數 K(x, y) 是 shift-invariant 如果 K(x, y) == k(x - y) 對於某些函數 k 。許多流行的徑向基函數 (RBF)，包括高斯和拉普拉斯核，都是shift-invariant。

該層的實現基於以下論文：Ali Rahimi 和 Ben Recht 的“Large-Scale Kernel Machines 的隨機特征”。

隨機特征圖(層)的參數從中采樣的分布決定了該層近似於哪個shift-invariant內核(有關更多詳細信息，請參見論文)。您可以使用您選擇的分布。該層支持以下兩個 RBF 內核的out-of-the-box 近似：

• 高斯：K(x, y) == exp(- square(x - y) / (2 * square(scale)))
• 拉普拉斯算子：K(x, y) = exp(-abs(x - y) / scale))

注意：與論文中說明的內容和Scikit-Learn 實現中使用的內容不同，該層的輸出不應用sqrt(2 / D) 歸一化因子。

用法：通常，此層用於"kernelize" 線性模型，方法是對輸入特征應用非線性變換(此層)，然後在變換後的特征之上訓練線性模型。根據線性模型的損失函數，該層和線性模型的組合導致模型等效於(近似)內核 SVM(用於鉸鏈損失)、內核邏輯回歸(用於邏輯損失)、內核線性回歸(用於平方損失)等。

例子：

用於 MNIST 的具有高斯核的核多項式邏輯回歸模型：

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10, activation='softmax'),
])
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['categorical_accuracy']
)

MNIST 的quasi-SVM 分類器：

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10),
])
model.compile(
    optimizer='adam',
    loss='hinge',
    metrics=['categorical_accuracy']
)

要使用另一個內核，隻需將層創建行替換為：

random_features_layer = RandomFourierFeatures(
    output_dim=500,
    kernel_initializer=<my_initializer>,
    scale=...,
    ...)