Python tf.keras.activations.gelu用法及代码示例

应用高斯误差线性单元 (GELU) 激活函数。

用法

tf.keras.activations.gelu(
    x, approximate=False
)

高斯误差线性单元 (GELU) 计算 x * P(X <= x) ，其中 P(X) ~ N(0, 1) 。 (GELU) 非线性按输入值加权输入，而不是像 ReLU 中那样按符号对输入进行门控。

例如：

x = tf.constant([-3.0, -1.0, 0.0, 1.0, 3.0], dtype=tf.float32)
y = tf.keras.activations.gelu(x)
y.numpy()
array([-0.00404951, -0.15865529,  0.        ,  0.8413447 ,  2.9959507 ],
    dtype=float32)
y = tf.keras.activations.gelu(x, approximate=True)
y.numpy()
array([-0.00363752, -0.15880796,  0.        ,  0.841192  ,  2.9963627 ],
    dtype=float32)

参考：

• 高斯误差线性单位 (GELU)