Python PyTorch Linear用法及代碼示例

本文簡要介紹python語言中 torch.nn.Linear 的用法。

用法:

class torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None)

參數：

• in_features-每個輸入樣本的大小

• out_features-每個輸出樣本的大小

• bias-如果設置為 False ，該層將不會學習附加偏差。默認值：True

變量：

• ~Linear.weight(torch.Tensor) -形狀為 (\text{out\_features}, \text{in\_features}) 的模塊的可學習權重。這些值從 \mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化，其中 k = \frac{1}{\text{in\_features}}

• ~Linear.bias-形狀為 (\text{out\_features}) 的模塊的可學習偏差。如果 bias 是 True ，則值從 \mathcal{U}(-\sqrt{k}, \sqrt{k}) 初始化，其中 k = \frac{1}{\text{in\_features}}

對傳入數據應用線性變換：y = xA^T + b

該模塊支持 TensorFloat32。

形狀：

• 輸入：(*, H_{in}) 其中 * 表示任意數量的維度，包括 none 和 H_{in} = \text{in\_features} 。

• 輸出：(*, H_{out})，其中除了最後一個維度之外的所有維度都與輸入和 H_{out} = \text{out\_features} 的形狀相同。

例子：

>>> m = nn.Linear(20, 30)
>>> input = torch.randn(128, 20)
>>> output = m(input)
>>> print(output.size())
torch.Size([128, 30])