Python PyTorch l1_unstructured用法及代碼示例

本文簡要介紹python語言中 torch.nn.utils.prune.l1_unstructured 的用法。

用法:

torch.nn.utils.prune.l1_unstructured(module, name, amount, importance_scores=None)

參數：

• module(torch.nn.Module) -包含要修剪的張量的模塊

• name(str) -module 中的參數名稱，將對其進行修剪。

• amount(int或者float) -要修剪的參數數量。如果 float ，應介於 0.0 和 1.0 之間，表示要修剪的參數比例。如果 int ，它表示要修剪的參數的絕對數量。

• importance_scores(torch.Tensor) -用於計算剪枝掩碼的重要性分數(與模塊參數形狀相同)的張量。此張量中的值表示正在修剪的參數中相應元素的重要性。如果未指定或無，將使用模塊參數代替它。

返回：

輸入模塊的修改(即修剪)版本

返回類型：

模塊(nn.Module)

通過刪除具有最低 L1 範數的(當前未修剪的)單元的指定 amount，修剪與 module 中名為 name 的參數對應的張量。通過以下方式修改模塊(並返回修改後的模塊)：

1. 添加一個名為 name+'_mask' 的命名緩衝區，該緩衝區對應於通過修剪方法應用於參數 name 的二進製掩碼。

2. 將參數 name 替換為其修剪版本，而原始(未修剪)參數存儲在名為 name+'_orig' 的新參數中。

例子

>>> m = prune.l1_unstructured(nn.Linear(2, 3), 'weight', amount=0.2)
>>> m.state_dict().keys()
odict_keys(['bias', 'weight_orig', 'weight_mask'])