Python tf.keras.activations.elu用法及代碼示例

index 線性單位。

用法

tf.keras.activations.elu(
    x, alpha=1.0
)

alpha > 0 的 index 線性單元 (ELU) 是： x 如果 x > 0 和 alpha * (exp(x) - 1) 如果 x < 0 ELU 超參數 alpha 控製 ELU 對負淨輸入飽和的值。 ELU 減少了消失的梯度效應。

ELU 具有負值，這會使激活的平均值更接近於零。接近於零的平均激活可以加快學習速度，因為它們使梯度更接近自然梯度。當參數變小時，ELU 飽和到負值。飽和度意味著一個小的導數，它減少了傳播到下一層的變化和信息。

示例用法：

import tensorflow as tf
model = tf.keras.Sequential()
model.add(tf.keras.layers.Conv2D(32, (3, 3), activation='elu',
         input_shape=(28, 28, 1)))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))

參考：

通過 index 線性單元 (ELU) 進行快速準確的深度網絡學習 (Clevert et al, 2016)