Python PyTorch StepLR用法及代碼示例

本文簡要介紹python語言中 torch.optim.lr_scheduler.StepLR 的用法。

用法:

class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=- 1, verbose=False)

參數：

• optimizer(Optimizer) -包裝優化器。

• step_size(int) -學習率衰減的時期。

• gamma(float) -學習率衰減的乘法因子。默認值：0.1。

• last_epoch(int) -上一個紀元的索引。默認值：-1。

• verbose(bool) -如果 True ，每次更新都會向標準輸出打印一條消息。默認值：False。

每step_size epochs 衰減每個參數組的學習率。請注意，這種衰減可能與此調度程序外部對學習率的其他更改同時發生。當last_epoch=-1 時，設置初始 lr 為 lr。

示例

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 60
>>> # lr = 0.0005   if 60 <= epoch < 90
>>> # ...
>>> scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
>>> for epoch in range(100):
>>>     train(...)
>>>     validate(...)
>>>     scheduler.step()