Python PyTorch AlphaDropout用法及代码示例

本文简要介绍python语言中 torch.nn.AlphaDropout 的用法。

用法:

class torch.nn.AlphaDropout(p=0.5, inplace=False)

参数：

• p(float) -元素被丢弃的概率。默认值：0.5

• inplace(bool,可选的) -如果设置为 True ，将就地执行此操作

在输入上应用 Alpha Dropout。

Alpha Dropout 是一种保持自标准化属性的 Dropout。对于均值和单位标准差为零的输入，Alpha Dropout 的输出保持输入的原始均值和标准差。 Alpha Dropout 与 SELU 激活函数密切相关，可确保输出具有零均值和单位标准偏差。

在训练期间，它使用来自伯努利分布的样本以概率 p 随机掩盖输入张量的一些元素。要屏蔽的元素在每次前向调用时都是随机的，并缩放和移动以保持零均值和单位标准偏差。

在评估期间，模块只计算一个恒等函数。

更多细节可以在论文Self-Normalizing Neural Networks 中找到。

形状：

• 输入：(*)。输入可以是任何形状

• 输出：(*)。输出与输入具有相同的形状

例子：

>>> m = nn.AlphaDropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)