Python tf.keras.activations.selu用法及代碼示例

比例指數線性單元 (SELU)。

用法

tf.keras.activations.selu(
    x
)

Scaled Exponential Linear Unit (SELU) 激活函數定義為：

• if x > 0:return scale * x
• if x < 0:return scale * alpha * (exp(x) - 1)

其中 alpha 和 scale 是預定義的常量( alpha=1.67326324 和 scale=1.05070098 )。

本質上，SELU 激活函數將 scale (> 1) 與 tf.keras.activations.elu 函數的輸出相乘，以確保正輸入的斜率大於 1。

選擇 alpha 和 scale 的值，以便在兩個連續層之間保留輸入的均值和方差，隻要正確初始化權重(參見 tf.keras.initializers.LecunNormal 初始化程序)並且輸入單元的數量是 "large enough"(有關更多信息，請參閱參考文件)。

示例用法：

num_classes = 10  # 10-class problem
model = tf.keras.Sequential()
model.add(tf.keras.layers.Dense(64, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(32, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(16, kernel_initializer='lecun_normal',
                                activation='selu'))
model.add(tf.keras.layers.Dense(num_classes, activation='softmax'))

注意:

• 與 tf.keras.initializers.LecunNormal 初始化程序一起使用。
• 與 dropout 變體 tf.keras.layers.AlphaDropout 一起使用(不是常規 dropout)。

參考：

• Klambauer 等人，2017 年