Python PyTorch MultiStepLR用法及代碼示例

本文簡要介紹python語言中 torch.optim.lr_scheduler.MultiStepLR 的用法。

用法:

class torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=- 1, verbose=False)

參數：

• optimizer(Optimizer) -包裝優化器。

• milestones(list) -時代 index 列表。一定要增加。

• gamma(float) -學習率衰減的乘法因子。默認值：0.1。

• last_epoch(int) -上一個紀元的索引。默認值：-1。

• verbose(bool) -如果 True ，每次更新都會向標準輸出打印一條消息。默認值：False。

一旦 epoch 的數量達到裏程碑之一，通過 gamma 衰減每個參數組的學習率。請注意，這種衰減可能與此調度程序外部對學習率的其他更改同時發生。當last_epoch=-1 時，設置初始 lr 為 lr。

示例

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 80
>>> # lr = 0.0005   if epoch >= 80
>>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
>>> for epoch in range(100):
>>>     train(...)
>>>     validate(...)
>>>     scheduler.step()