Python PyTorch SwishLayerNorm用法及代码示例

本文简要介绍python语言中 torchrec.modules.activation.SwishLayerNorm 的用法。

用法:

class torchrec.modules.activation.SwishLayerNorm(input_dims: Union[int, List[int], torch.Size], device: Optional[torch.device] = None)

参数：

• input_dims(联盟[int,List[int],torch.Size]) - 要标准化的尺寸。如果输入张量的形状为 [batch_size, d1, d2, d3]，则设置 input_dim=[d2, d3] 将在最后两个维度上进行层归一化。

• device(可选的[torch.device]) -默认计算设备。

基础：torch.nn.modules.module.Module

应用带有层标准化的 Swish 函数：Y = X * Sigmoid(LayerNorm(X)) 。

例子：

sln = SwishLayerNorm(100)