Python tf.keras.optimizers.schedules.CosineDecay用法及代码示例

使用余弦衰减时间表的 LearningRateSchedule。

继承自：LearningRateSchedule

用法

tf.keras.optimizers.schedules.CosineDecay(
    initial_learning_rate, decay_steps, alpha=0.0, name=None
)

参见 Loshchilov & Hutter, ICLR2016, SGDR:Stochastic Gradient Descent with Warm Restarts。

在训练模型时，随着训练的进行降低学习率通常很有用。给定提供的初始学习率，此计划将余弦衰减函数应用于优化器步骤。它需要一个step 值来计算衰减的学习率。您可以只传递一个 TensorFlow 变量，该变量在每个训练步骤中递增。

该计划是一个 1-arg 可调用对象，当通过当前优化器步骤时会产生衰减的学习率。这对于在优化器函数的不同调用中更改学习率值很有用。它被计算为：

def decayed_learning_rate(step):
  step = min(step, decay_steps)
  cosine_decay = 0.5 * (1 + cos(pi * step / decay_steps))
  decayed = (1 - alpha) * cosine_decay + alpha
  return initial_learning_rate * decayed

示例用法：

decay_steps = 1000
lr_decayed_fn = tf.keras.optimizers.schedules.CosineDecay(
    initial_learning_rate, decay_steps)

您可以将此计划直接传递到 tf.keras.optimizers.Optimizer 作为学习率。学习率计划也可以使用 tf.keras.optimizers.schedules.serialize 和 tf.keras.optimizers.schedules.deserialize 进行序列化和反序列化。