Python PyTorch GRUCell用法及代碼示例

本文簡要介紹python語言中 torch.nn.GRUCell 的用法。

用法:

class torch.nn.GRUCell(input_size, hidden_size, bias=True, device=None, dtype=None)

參數：

• input_size-輸入x中的預期特征數

• hidden_size-隱藏狀態的特征數h

• bias-如果 False ，則該層不使用偏置權重 b_ih 和 b_hh 。默認值：True

變量：

• ~GRUCell.weight_ih(torch.Tensor) -可學習的 input-hidden 權重，形狀為 (3*hidden_size, input_size)

• ~GRUCell.weight_hh(torch.Tensor) -可學習的 hidden-hidden 權重，形狀為 (3*hidden_size, hidden_size)

• ~GRUCell.bias_ih-形狀為 (3*hidden_size) 的可學習 input-hidden 偏差

• ~GRUCell.bias_hh-形狀為 (3*hidden_size) 的可學習 hidden-hidden 偏差

門控循環單元 (GRU) 單元

\begin{array}{ll} r = \sigma(W_{ir} x + b_{ir} + W_{hr} h + b_{hr}) \\ z = \sigma(W_{iz} x + b_{iz} + W_{hz} h + b_{hz}) \\ n = \tanh(W_{in} x + b_{in} + r * (W_{hn} h + b_{hn})) \\ h' = (1 - z) * n + z * h \end{array}

其中\sigma 是 sigmoid 函數，* 是 Hadamard 積。

輸入：輸入，隱藏

• 輸入形狀的(batch, input_size)：包含輸入特征的張量

• 隱形狀的(batch, hidden_size)：包含批次中每個元素的初始隱藏狀態的張量。如果未提供，則默認為零。

輸出：h'

• H'形狀的(batch, hidden_size)：包含批次中每個元素的下一個隱藏狀態的張量

形狀：

• 輸入1：(N, H_{in})張量包含輸入特征，其中H_{in} = input_size

• 輸入 2：(N, H_{out}) 張量，包含批次中每個元素的初始隱藏狀態，其中 H_{out} = hidden_size 如果未提供，則默認為零。

• 輸出：(N, H_{out}) 張量，包含批次中每個元素的下一個隱藏狀態

注意

所有的權重和偏差都是從 \mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化的，其中 k = \frac{1}{\text{hidden\_size}}

例子：

>>> rnn = nn.GRUCell(10, 20)
>>> input = torch.randn(6, 3, 10)
>>> hx = torch.randn(3, 20)
>>> output = []
>>> for i in range(6):
        hx = rnn(input[i], hx)
        output.append(hx)