Python tf.keras.layers.experimental.RandomFourierFeatures用法及代码示例

将其输入投影到随机特征空间的层。

继承自：Layer，Module

用法

tf.keras.layers.experimental.RandomFourierFeatures(
    output_dim, kernel_initializer='gaussian', scale=None,
    trainable=False, name=None, **kwargs
)

该层实现了从输入空间到具有output_dim 维度的空间的映射，这近似于shift-invariant 内核。内核函数 K(x, y) 是 shift-invariant 如果 K(x, y) == k(x - y) 对于某些函数 k 。许多流行的径向基函数 (RBF)，包括高斯和拉普拉斯核，都是shift-invariant。

该层的实现基于以下论文：Ali Rahimi 和 Ben Recht 的“Large-Scale Kernel Machines 的随机特征”。

随机特征图(层)的参数从中采样的分布决定了该层近似于哪个shift-invariant内核(有关更多详细信息，请参见论文)。您可以使用您选择的分布。该层支持以下两个 RBF 内核的out-of-the-box 近似：

• 高斯：K(x, y) == exp(- square(x - y) / (2 * square(scale)))
• 拉普拉斯算子：K(x, y) = exp(-abs(x - y) / scale))

注意：与论文中说明的内容和Scikit-Learn 实现中使用的内容不同，该层的输出不应用sqrt(2 / D) 归一化因子。

用法：通常，此层用于"kernelize" 线性模型，方法是对输入特征应用非线性变换(此层)，然后在变换后的特征之上训练线性模型。根据线性模型的损失函数，该层和线性模型的组合导致模型等效于(近似)内核 SVM(用于铰链损失)、内核逻辑回归(用于逻辑损失)、内核线性回归(用于平方损失)等。

例子：

用于 MNIST 的具有高斯核的核多项式逻辑回归模型：

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10, activation='softmax'),
])
model.compile(
    optimizer='adam',
    loss='categorical_crossentropy',
    metrics=['categorical_accuracy']
)

MNIST 的quasi-SVM 分类器：

model = keras.Sequential([
  keras.Input(shape=(784,)),
  RandomFourierFeatures(
      output_dim=4096,
      scale=10.,
      kernel_initializer='gaussian'),
  layers.Dense(units=10),
])
model.compile(
    optimizer='adam',
    loss='hinge',
    metrics=['categorical_accuracy']
)

要使用另一个内核，只需将层创建行替换为：

random_features_layer = RandomFourierFeatures(
    output_dim=500,
    kernel_initializer=<my_initializer>,
    scale=...,
    ...)