Python PyTorch GRUCell用法及代码示例

本文简要介绍python语言中 torch.nn.GRUCell 的用法。

用法:

class torch.nn.GRUCell(input_size, hidden_size, bias=True, device=None, dtype=None)

参数：

• input_size-输入x中的预期特征数

• hidden_size-隐藏状态的特征数h

• bias-如果 False ，则该层不使用偏置权重 b_ih 和 b_hh 。默认值：True

变量：

• ~GRUCell.weight_ih(torch.Tensor) -可学习的 input-hidden 权重，形状为 (3*hidden_size, input_size)

• ~GRUCell.weight_hh(torch.Tensor) -可学习的 hidden-hidden 权重，形状为 (3*hidden_size, hidden_size)

• ~GRUCell.bias_ih-形状为 (3*hidden_size) 的可学习 input-hidden 偏差

• ~GRUCell.bias_hh-形状为 (3*hidden_size) 的可学习 hidden-hidden 偏差

门控循环单元 (GRU) 单元

\begin{array}{ll} r = \sigma(W_{ir} x + b_{ir} + W_{hr} h + b_{hr}) \\ z = \sigma(W_{iz} x + b_{iz} + W_{hz} h + b_{hz}) \\ n = \tanh(W_{in} x + b_{in} + r * (W_{hn} h + b_{hn})) \\ h' = (1 - z) * n + z * h \end{array}

其中\sigma 是 sigmoid 函数，* 是 Hadamard 积。

输入：输入，隐藏

• 输入形状的(batch, input_size)：包含输入特征的张量

• 隐形状的(batch, hidden_size)：包含批次中每个元素的初始隐藏状态的张量。如果未提供，则默认为零。

输出：h'

• H'形状的(batch, hidden_size)：包含批次中每个元素的下一个隐藏状态的张量

形状：

• 输入1：(N, H_{in})张量包含输入特征，其中H_{in} = input_size

• 输入 2：(N, H_{out}) 张量，包含批次中每个元素的初始隐藏状态，其中 H_{out} = hidden_size 如果未提供，则默认为零。

• 输出：(N, H_{out}) 张量，包含批次中每个元素的下一个隐藏状态

注意

所有的权重和偏差都是从 \mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化的，其中 k = \frac{1}{\text{hidden\_size}}

例子：

>>> rnn = nn.GRUCell(10, 20)
>>> input = torch.randn(6, 3, 10)
>>> hx = torch.randn(3, 20)
>>> output = []
>>> for i in range(6):
        hx = rnn(input[i], hx)
        output.append(hx)