当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python PyTorch FeatureAlphaDropout用法及代码示例


本文简要介绍python语言中 torch.nn.FeatureAlphaDropout 的用法。

用法:

class torch.nn.FeatureAlphaDropout(p=0.5, inplace=False)

参数

  • p(float,可选的) -元素归零的概率。默认值:0.5

  • inplace(bool,可选的) -如果设置为 True ,将就地执行此操作

随机屏蔽整个通道(通道是特征图,例如,批量输入中的 样本的 -th 通道是输入张量的张量 )。不像在常规 Dropout 中那样将激活值设置为零,而是将激活值设置为 SELU 激活函数的负饱和值。更多细节可以在论文Self-Normalizing Neural Networks 中找到。

使用来自伯努利分布的样本,每个前向调用的每个样本都将独立屏蔽每个元素,概率为 p。要屏蔽的元素在每次前向调用时都是随机的,并缩放和移动以保持零均值和单位方差。

通常输入来自nn.AlphaDropout 模块。

如论文中所述使用卷积网络的高效对象定位,如果特征图中的相邻像素是强相关的(通常在早期卷积层中就是这种情况),那么 i.i.d. dropout 不会规范激活,否则只会导致有效的学习率降低。

在这种情况下,nn.AlphaDropout() 将有助于促进特征图之间的独立性,应改为使用。

形状:
  • 输入:

  • 输出: (与输入的形状相同)。

例子:

>>> m = nn.FeatureAlphaDropout(p=0.2)
>>> input = torch.randn(20, 16, 4, 32, 32)
>>> output = m(input)

相关用法


注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.FeatureAlphaDropout。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。