Python PyTorch SwishLayerNorm用法及代碼示例

本文簡要介紹python語言中 torchrec.modules.activation.SwishLayerNorm 的用法。

用法:

class torchrec.modules.activation.SwishLayerNorm(input_dims: Union[int, List[int], torch.Size], device: Optional[torch.device] = None)

參數：

• input_dims(聯盟[int,List[int],torch.Size]) - 要標準化的尺寸。如果輸入張量的形狀為 [batch_size, d1, d2, d3]，則設置 input_dim=[d2, d3] 將在最後兩個維度上進行層歸一化。

• device(可選的[torch.device]) -默認計算設備。

基礎：torch.nn.modules.module.Module

應用帶有層標準化的 Swish 函數：Y = X * Sigmoid(LayerNorm(X)) 。

例子：

sln = SwishLayerNorm(100)