Python PyTorch LinearLR用法及代碼示例

本文簡要介紹python語言中 torch.optim.lr_scheduler.LinearLR 的用法。

用法:

class torch.optim.lr_scheduler.LinearLR(optimizer, start_factor=0.3333333333333333, end_factor=1.0, total_iters=5, last_epoch=- 1, verbose=False)

參數：

• optimizer(Optimizer) -包裝優化器。

• start_factor(float) -我們在第一個時期乘以學習率的數字。在接下來的時期中，倍增因子將變為end_factor。默認值：1./3。

• end_factor(float) -在線性變化過程結束時乘以學習率的數字。默認值：1.0。

• total_iters(int) -乘法因子達到 1 時的迭代次數。默認值：5。

• last_epoch(int) -最後紀元的索引。默認值：-1。

• verbose(bool) -如果 True ，每次更新都會向標準輸出打印一條消息。默認值：False。

通過線性改變小乘法因子來衰減每個參數組的學習率，直到紀元數量達到預定義的裏程碑：total_iters。請注意，這種衰減可能與調度程序外部對學習率的其他更改同時發生。當last_epoch=-1時，將初始lr設置為lr。

示例

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.025    if epoch == 0
>>> # lr = 0.03125  if epoch == 1
>>> # lr = 0.0375   if epoch == 2
>>> # lr = 0.04375  if epoch == 3
>>> # lr = 0.005    if epoch >= 4
>>> scheduler = LinearLR(self.opt, start_factor=0.5, total_iters=4)
>>> for epoch in range(100):
>>>     train(...)
>>>     validate(...)
>>>     scheduler.step()