Python PyTorch AlphaDropout用法及代碼示例

本文簡要介紹python語言中 torch.nn.AlphaDropout 的用法。

用法:

class torch.nn.AlphaDropout(p=0.5, inplace=False)

參數：

• p(float) -元素被丟棄的概率。默認值：0.5

• inplace(bool,可選的) -如果設置為 True ，將就地執行此操作

在輸入上應用 Alpha Dropout。

Alpha Dropout 是一種保持自標準化屬性的 Dropout。對於均值和單位標準差為零的輸入，Alpha Dropout 的輸出保持輸入的原始均值和標準差。 Alpha Dropout 與 SELU 激活函數密切相關，可確保輸出具有零均值和單位標準偏差。

在訓練期間，它使用來自伯努利分布的樣本以概率 p 隨機掩蓋輸入張量的一些元素。要屏蔽的元素在每次前向調用時都是隨機的，並縮放和移動以保持零均值和單位標準偏差。

在評估期間，模塊隻計算一個恒等函數。

更多細節可以在論文Self-Normalizing Neural Networks 中找到。

形狀：

• 輸入：(*)。輸入可以是任何形狀

• 輸出：(*)。輸出與輸入具有相同的形狀

例子：

>>> m = nn.AlphaDropout(p=0.2)
>>> input = torch.randn(20, 16)
>>> output = m(input)