Python PyTorch GRU用法及代碼示例

本文簡要介紹python語言中 torch.nn.GRU 的用法。

用法:

class torch.nn.GRU(*args, **kwargs)

參數：

• input_size-輸入x中的預期特征數

• hidden_size-隱藏狀態的特征數h

• num_layers-循環層數。例如，設置 num_layers=2 意味著將兩個 GRU 堆疊在一起形成一個 stacked GRU ，第二個 GRU 接收第一個 GRU 的輸出並計算最終結果。默認值：1

• bias-如果 False ，則該層不使用偏置權重 b_ih 和 b_hh 。默認值：True

• batch_first-如果 True ，則輸入和輸出張量提供為 (batch, seq, feature) 而不是 (seq, batch, feature) 。請注意，這不適用於隱藏或單元狀態。有關詳細信息，請參閱下麵的輸入/輸出部分。默認值：False

• dropout-如果非零，則在除最後一層之外的每個 GRU 層的輸出上引入 Dropout 層，丟棄概率等於 dropout 。默認值：0

• bidirectional-如果 True ，則成為雙向 GRU。默認值：False

變量：

• ~GRU.weight_ih_l[k]-\text{k}^{th} 層 (W_ir|W_iz|W_in) 的可學習 input-hidden 權重，形狀為 (3*hidden_size, input_size) 用於 k = 0 。否則，形狀為(3*hidden_size, num_directions * hidden_size)

• ~GRU.weight_hh_l[k]-\text{k}^{th} 層 (W_hr|W_hz|W_hn) 的可學習 hidden-hidden 權重，形狀為 (3*hidden_size, hidden_size)

• ~GRU.bias_ih_l[k]-\text{k}^{th} 層 (b_ir|b_iz|b_in) 的可學習 input-hidden 偏差，形狀為 (3*hidden_size)

• ~GRU.bias_hh_l[k]-\text{k}^{th} 層 (b_hr|b_hz|b_hn) 的可學習 hidden-hidden 偏差，形狀為 (3*hidden_size)

將多層門控循環單元 (GRU) RNN 應用於輸入序列。

對於輸入序列中的每個元素，每一層計算以下函數：

\begin{array}{ll} r_t = \sigma(W_{ir} x_t + b_{ir} + W_{hr} h_{(t-1)} + b_{hr}) \\ z_t = \sigma(W_{iz} x_t + b_{iz} + W_{hz} h_{(t-1)} + b_{hz}) \\ n_t = \tanh(W_{in} x_t + b_{in} + r_t * (W_{hn} h_{(t-1)}+ b_{hn})) \\ h_t = (1 - z_t) * n_t + z_t * h_{(t-1)} \end{array}

其中h_t是時間t的隱藏狀態，x_t是時間t的輸入； h_{(t-1)} 是層在時間 t-1 的隱藏狀態或在時間 0 的初始隱藏狀態，而 r_t 、 z_t 、 n_t 分別是重置、更新和新門。 \sigma 是 sigmoid 函數，* 是 Hadamard 積。

在多層 GRU 中，第 l 層 (l >= 2) 的輸入 x^{(l)}_t 是前一層的隱藏狀態 h^{(l-1)}_t 乘以 dropout \delta^{(l-1)}_t 其中每個 \delta^{(l-1)}_t 是一個伯努利隨機變量這是 0 概率為 dropout 。

輸入：輸入，h_0

• input: 形狀張量(L, N, H_{in})當batch_first=False或者(N, L, H_{in})當batch_first=True包含輸入序列的特征。輸入也可以是打包的可變長度序列。看torch.nn.utils.rnn.pack_padded_sequence()或者torch.nn.utils.rnn.pack_sequence詳情。

• h_0: 形狀張量(D * \text{num\_layers}, N, H_{out})包含批次中每個元素的初始隱藏狀態。如果未提供，則默認為零。

其中:

\begin{aligned} N ={} & \text{batch size} \\ L ={} & \text{sequence length} \\ D ={} & 2 \text{ if bidirectional=True otherwise } 1 \\ H_{in} ={} & \text{input\_size} \\ H_{out} ={} & \text{hidden\_size} \end{aligned}

輸出：輸出，h_n

• output: 形狀張量(L, N, D * H_{out})當batch_first=False或者(N, L, D * H_{out})當batch_first=True包含輸出特征(h_t)從 GRU 的最後一層，對於每個t.如果一個torch.nn.utils.rnn.PackedSequence已作為輸入給出，輸出也將是一個打包序列。

• h_n: 形狀張量(D * \text{num\_layers}, N, H_{out})包含批次中每個元素的最終隱藏狀態。

注意

所有的權重和偏差都是從 \mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化的，其中 k = \frac{1}{\text{hidden\_size}}

注意

對於雙向 GRU，向前和向後分別是方向 0 和 1。 batch_first=False : output.view(seq_len, batch, num_directions, hidden_size) 時拆分輸出層的示例。

孤兒

注意

如果滿足以下條件：1) cudnn 已啟用，2) 輸入數據在 GPU 上 3) 輸入數據具有 dtype torch.float16 4) 使用 V100 GPU，5) 輸入數據不是 PackedSequence 格式的持久化算法可以選擇以提高性能。

例子：

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)