Python tf.keras.activations.swish用法及代碼示例

Swish 激活函數，swish(x) = x * sigmoid(x)。

用法

tf.keras.activations.swish(
    x
)

Swish 激活函數，返回 x*sigmoid(x) 。它是一個平滑的、非單調的函數，在深度網絡上始終匹配或優於 ReLU，它上無界，下有界。

示例用法：

a = tf.constant([-20, -1.0, 0.0, 1.0, 20], dtype = tf.float32)
b = tf.keras.activations.swish(a)
b.numpy()
array([-4.1223075e-08, -2.6894143e-01,  0.0000000e+00,  7.3105860e-01,
          2.0000000e+01], dtype=float32)

參考：

• 拉馬錢德蘭等人，2017