Python tf.keras.activations.selu用法及代码示例

比例指数线性单元 (SELU)。

用法

tf.keras.activations.selu(
    x
)

Scaled Exponential Linear Unit (SELU) 激活函数定义为：

• if x > 0:return scale * x
• if x < 0:return scale * alpha * (exp(x) - 1)

其中 alpha 和 scale 是预定义的常量( alpha=1.67326324 和 scale=1.05070098 )。

本质上，SELU 激活函数将 scale (> 1) 与 tf.keras.activations.elu 函数的输出相乘，以确保正输入的斜率大于 1。

选择 alpha 和 scale 的值，以便在两个连续层之间保留输入的均值和方差，只要正确初始化权重(参见 tf.keras.initializers.LecunNormal 初始化程序)并且输入单元的数量是 "large enough"(有关更多信息，请参阅参考文件)。

示例用法：

num_classes = 10  # 10-class problem
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(64, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(32, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(16, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(num_classes, activation='softmax'))

注意:

• 与 tf.keras.initializers.LecunNormal 初始化程序一起使用。
• 与 dropout 变体 tf.keras.layers.AlphaDropout 一起使用(不是常规 dropout)。

参考：

• Klambauer 等人，2017 年