Python tf.keras.activations.elu用法及代码示例

index 线性单位。

用法

tf.keras.activations.elu(
    x, alpha=1.0
)

alpha > 0 的 index 线性单元 (ELU) 是： x 如果 x > 0 和 alpha * (exp(x) - 1) 如果 x < 0 ELU 超参数 alpha 控制 ELU 对负净输入饱和的值。 ELU 减少了消失的梯度效应。

ELU 具有负值，这会使激活的平均值更接近于零。接近于零的平均激活可以加快学习速度，因为它们使梯度更接近自然梯度。当参数变小时，ELU 饱和到负值。饱和度意味着一个小的导数，它减少了传播到下一层的变化和信息。

示例用法：

import tensorflow as tf
model = tf.keras.Sequential()
model.add(tf.keras.layers.Conv2D(32, (3, 3), activation='elu',
         input_shape=(28, 28, 1)))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))
model.add(tf.keras.layers.MaxPooling2D((2, 2)))
model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='elu'))

参考：

通过 index 线性单元 (ELU) 进行快速准确的深度网络学习 (Clevert et al, 2016)