Python mxnet.symbol.Activation用法及代码示例

用法:
mxnet.symbol.Activation(data=None, act_type=_Null, name=None, attr=None, out=None, **kwargs)

参数：

data：(Symbol) - 输入数组。
act_type：({'relu', 'sigmoid', 'softrelu', 'softsign', 'tanh'}, required) - 要应用的激活函数。
name：(string, optional.) - 结果符号的名称。

结果符号。

返回类型：

Symbol

将激活函数逐元素应用于输入。

支持以下激活函数：

relu：整流线性单元，\(y = max(x, 0)\)
sigmoid：\(y = \frac{1}{1 + exp(-x)}\)
tanh：双曲正切，\(y = \frac{exp(x) - exp(-x)}{exp(x) + exp(-x)}\)
softrelu：Soft ReLU，或 SoftPlus，\(y = log(1 + exp(x))\)
softsign：\(y = \frac{x}{1 + abs(x)}\)

例子：

带有ReLU 激活的one-hidden-layer MLP：

>>> data = Variable('data')
>>> mlp = FullyConnected(data=data, num_hidden=128, name='proj')
>>> mlp = Activation(data=mlp, act_type='relu', name='activation')
>>> mlp = FullyConnected(data=mlp, num_hidden=10, name='mlp')
>>> mlp
<Symbol mlp>

ReLU 激活

>>> test_suites = [
... ('relu', lambda x: np.maximum(x, 0)),
... ('sigmoid', lambda x: 1 / (1 + np.exp(-x))),
... ('tanh', lambda x: np.tanh(x)),
... ('softrelu', lambda x: np.log(1 + np.exp(x)))
... ]
>>> x = test_utils.random_arrays((2, 3, 4))
>>> for act_type, numpy_impl in test_suites:
... op = Activation(act_type=act_type, name='act')
... y = test_utils.simple_forward(op, act_data=x)
... y_np = numpy_impl(x)
... print('%s: %s' % (act_type, test_utils.almost_equal(y, y_np)))
relu: True
sigmoid: True
tanh: True
softrelu: True

相关用法

注：本文由纯净天空筛选整理自apache.org大神的英文原创作品 mxnet.symbol.Activation。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法:

参数：

返回：

返回类型：

例子：