当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python PyTorch GRU用法及代码示例


本文简要介绍python语言中 torch.nn.GRU 的用法。

用法:

class torch.nn.GRU(*args, **kwargs)

参数

  • input_size-输入x中的预期特征数

  • hidden_size-隐藏状态的特征数h

  • num_layers-循环层数。例如,设置 num_layers=2 意味着将两个 GRU 堆叠在一起形成一个 stacked GRU ,第二个 GRU 接收第一个 GRU 的输出并计算最终结果。默认值:1

  • bias-如果 False ,则该层不使用偏置权重 b_ihb_hh 。默认值:True

  • batch_first-如果 True ,则输入和输出张量提供为 (batch, seq, feature) 而不是 (seq, batch, feature) 。请注意,这不适用于隐藏或单元状态。有关详细信息,请参阅下面的输入/输出部分。默认值:False

  • dropout-如果非零,则在除最后一层之外的每个 GRU 层的输出上引入 Dropout 层,丢弃概率等于 dropout 。默认值:0

  • bidirectional-如果 True ,则成为双向 GRU。默认值:False

变量

  • ~GRU.weight_ih_l[k]- 层 (W_ir|W_iz|W_in) 的可学习 input-hidden 权重,形状为 (3*hidden_size, input_size) 用于 k = 0 。否则,形状为(3*hidden_size, num_directions * hidden_size)

  • ~GRU.weight_hh_l[k]- 层 (W_hr|W_hz|W_hn) 的可学习 hidden-hidden 权重,形状为 (3*hidden_size, hidden_size)

  • ~GRU.bias_ih_l[k]- 层 (b_ir|b_iz|b_in) 的可学习 input-hidden 偏差,形状为 (3*hidden_size)

  • ~GRU.bias_hh_l[k]- 层 (b_hr|b_hz|b_hn) 的可学习 hidden-hidden 偏差,形状为 (3*hidden_size)

将多层门控循环单元 (GRU) RNN 应用于输入序列。

对于输入序列中的每个元素,每一层计算以下函数:

其中 是时间t的隐藏状态, 是时间t的输入; 是层在时间 t-1 的隐藏状态或在时间 0 的初始隐藏状态,而 分别是重置、更新和新门。 是 sigmoid 函数, 是 Hadamard 积。

在多层 GRU 中,第 层 ( ) 的输入 是前一层的隐藏状态 乘以 dropout 其中每个 是一个伯努利随机变量这是 概率为 dropout

输入:输入,h_0
  • input: 形状张量(L, N, H_{in}) batch_first=False或者(N, L, H_{in}) batch_first=True包含输入序列的特征。输入也可以是打包的可变长度序列。看torch.nn.utils.rnn.pack_padded_sequence()或者torch.nn.utils.rnn.pack_sequence详情。

  • h_0: 形状张量(D * \text{num\_layers}, N, H_{out}) 包含批次中每个元素的初始隐藏状态。如果未提供,则默认为零。

其中:

输出:输出,h_n
  • output: 形状张量(L, N, D * H_{out}) batch_first=False或者(N, L, D * H_{out}) batch_first=True包含输出特征(h_t)从 GRU 的最后一层,对于每个t.如果一个torch.nn.utils.rnn.PackedSequence已作为输入给出,输出也将是一个打包序列。

  • h_n: 形状张量(D * \text{num\_layers}, N, H_{out}) 包含批次中每个元素的最终隐藏状态。

注意

所有的权重和偏差都是从 初始化的,其中

注意

对于双向 GRU,向前和向后分别是方向 0 和 1。 batch_first=False : output.view(seq_len, batch, num_directions, hidden_size) 时拆分输出层的示例。

孤儿

注意

如果满足以下条件:1) cudnn 已启用,2) 输入数据在 GPU 上 3) 输入数据具有 dtype torch.float16 4) 使用 V100 GPU,5) 输入数据不是 PackedSequence 格式的持久化算法可以选择以提高性能。

例子:

>>> rnn = nn.GRU(10, 20, 2)
>>> input = torch.randn(5, 3, 10)
>>> h0 = torch.randn(2, 3, 20)
>>> output, hn = rnn(input, h0)

相关用法


注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torch.nn.GRU。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。