Python PyTorch FeatureAlphaDropout用法及代码示例

本文简要介绍python语言中 torch.nn.FeatureAlphaDropout 的用法。

用法:

class torch.nn.FeatureAlphaDropout(p=0.5, inplace=False)

参数：

• p(float,可选的) -元素归零的概率。默认值：0.5

• inplace(bool,可选的) -如果设置为 True ，将就地执行此操作

随机屏蔽整个通道(通道是特征图，例如，批量输入中的 i 样本的 j -th 通道是输入张量的张量 \text{input}[i, j] )。不像在常规 Dropout 中那样将激活值设置为零，而是将激活值设置为 SELU 激活函数的负饱和值。更多细节可以在论文Self-Normalizing Neural Networks 中找到。

使用来自伯努利分布的样本，每个前向调用的每个样本都将独立屏蔽每个元素，概率为 p。要屏蔽的元素在每次前向调用时都是随机的，并缩放和移动以保持零均值和单位方差。

通常输入来自nn.AlphaDropout 模块。

如论文中所述使用卷积网络的高效对象定位，如果特征图中的相邻像素是强相关的(通常在早期卷积层中就是这种情况)，那么 i.i.d. dropout 不会规范激活，否则只会导致有效的学习率降低。

在这种情况下，nn.AlphaDropout() 将有助于促进特征图之间的独立性，应改为使用。

形状：

• 输入：(N, C, D, H, W) 或 (C, D, H, W) 。

• 输出：(N, C, D, H, W) 或 (C, D, H, W)(与输入的形状相同)。

例子：

>>> m = nn.FeatureAlphaDropout(p=0.2)
>>> input = torch.randn(20, 16, 4, 32, 32)
>>> output = m(input)