本文简要介绍python语言中 torch.nn.FeatureAlphaDropout
的用法。
用法:
class torch.nn.FeatureAlphaDropout(p=0.5, inplace=False)
随机屏蔽整个通道(通道是特征图,例如,批量输入中的 Self-Normalizing Neural Networks 中找到。 样本的 -th 通道是输入张量的张量 )。不像在常规 Dropout 中那样将激活值设置为零,而是将激活值设置为 SELU 激活函数的负饱和值。更多细节可以在论文
使用来自伯努利分布的样本,每个前向调用的每个样本都将独立屏蔽每个元素,概率为
p
。要屏蔽的元素在每次前向调用时都是随机的,并缩放和移动以保持零均值和单位方差。通常输入来自
nn.AlphaDropout
模块。如论文中所述使用卷积网络的高效对象定位,如果特征图中的相邻像素是强相关的(通常在早期卷积层中就是这种情况),那么 i.i.d. dropout 不会规范激活,否则只会导致有效的学习率降低。
在这种情况下,
nn.AlphaDropout()
将有助于促进特征图之间的独立性,应改为使用。- 形状:
输入: 或 。
输出: 或 (与输入的形状相同)。
例子:
>>> m = nn.FeatureAlphaDropout(p=0.2) >>> input = torch.randn(20, 16, 4, 32, 32) >>> output = m(input)
相关用法
- Python PyTorch FeaturePyramidNetwork用法及代码示例
- Python PyTorch Future.then用法及代码示例
- Python PyTorch FunctionCtx.mark_dirty用法及代码示例
- Python PyTorch FloatFunctional用法及代码示例
- Python PyTorch Forker用法及代码示例
- Python PyTorch FMInteractionArch用法及代码示例
- Python PyTorch Future.add_done_callback用法及代码示例
- Python PyTorch Function用法及代码示例
- Python PyTorch FSSpecFileOpener用法及代码示例
- Python PyTorch Filter用法及代码示例
- Python PyTorch FSSpecSaver用法及代码示例
- Python PyTorch FileLister用法及代码示例
- Python PyTorch FunctionCtx.set_materialize_grads用法及代码示例
- Python PyTorch FisherSnedecor用法及代码示例
- Python PyTorch FactorizationMachine用法及代码示例
- Python PyTorch FileStore用法及代码示例
- Python PyTorch FractionalMaxPool3d用法及代码示例
- Python PyTorch FiveCrop用法及代码示例
- Python PyTorch FileOpener用法及代码示例
- Python PyTorch FunctionCtx.save_for_backward用法及代码示例
- Python PyTorch FactorizationMachine.forward用法及代码示例
- Python PyTorch FrequencyMasking用法及代码示例
- Python PyTorch Fade用法及代码示例
- Python PyTorch Fold用法及代码示例
- Python PyTorch Future.set_result用法及代码示例
注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.FeatureAlphaDropout。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。