Python tf.keras.activations.swish用法及代码示例

Swish 激活函数，swish(x) = x * sigmoid(x)。

用法

tf.keras.activations.swish(
    x
)

Swish 激活函数，返回 x*sigmoid(x) 。它是一个平滑的、非单调的函数，在深度网络上始终匹配或优于 ReLU，它上无界，下有界。

示例用法：

a = tf.constant([-20, -1.0, 0.0, 1.0, 20], dtype = tf.float32)
b = tf.keras.activations.swish(a)
b.numpy()
array([-4.1223075e-08, -2.6894143e-01,  0.0000000e+00,  7.3105860e-01,
          2.0000000e+01], dtype=float32)

参考：

• 拉马钱德兰等人，2017