Python PyTorch GLU用法及代码示例

本文简要介绍python语言中 torch.nn.GLU 的用法。

用法:

class torch.nn.GLU(dim=- 1)

参数：

dim(int) -分割输入的维度。默认值：-1

应用门控线性单元函数{GLU}(a, b)= a \otimes \sigma(b)，其中a 是输入矩阵的前半部分，b 是后半部分。

形状：

• 输入：(\ast_1, N, \ast_2) 其中 * 表示任意数量的附加维度

• 输出：(\ast_1, M, \ast_2) 其中M=N/2

例子：

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)