Python tf.keras.optimizers.schedules.CosineDecayRestarts用法及代码示例

一个 LearningRateSchedule，它使用带有重新启动的余弦衰减时间表。

继承自：LearningRateSchedule

用法

tf.keras.optimizers.schedules.CosineDecayRestarts(
    initial_learning_rate, first_decay_steps, t_mul=2.0, m_mul=1.0, alpha=0.0,
    name=None
)

一个 1-arg 可调用学习率计划，它采用当前优化器步骤并输出衰减的学习率，一个与 initial_learning_rate 类型相同的标量 Tensor 。

参数

initial_learning_rate 标量 float32 或 float64 张量或 Python 数字。初始学习率。
first_decay_steps 标量 int32 或 int64 Tensor 或 Python 编号。要衰减的步数。
t_mul 标量 float32 或 float64 Tensor 或 Python 编号。用于导出i-th 周期内的迭代次数。
m_mul 标量 float32 或 float64 Tensor 或 Python 编号。用于导出i-th周期的初始学习率。
alpha 标量 float32 或 float64 张量或 Python 数字。最小学习率值作为initial_learning_rate 的一部分。
name String 。操作的可选名称。默认为'SGDRDecay'。

参见 Loshchilov & Hutter, ICLR2016, SGDR:Stochastic Gradient Descent with Warm Restarts。

在训练模型时，随着训练的进行降低学习率通常很有用。给定提供的初始学习率，此计划将重新启动的余弦衰减函数应用于优化器步骤。它需要一个step 值来计算衰减的学习率。您可以只传递一个 TensorFlow 变量，该变量在每个训练步骤中递增。

该计划是一个 1-arg 可调用对象，当通过当前优化器步骤时会产生衰减的学习率。这对于在优化器函数的不同调用中更改学习率值很有用。

对于 first_decay_steps 步骤，学习率乘数首先从 1 衰减到 alpha。然后，执行热重启。每个新的热重启运行 t_mul 次更多的步骤，并以 m_mul 次初始学习率作为新的学习率。

示例用法：

first_decay_steps = 1000
lr_decayed_fn = (
  tf.keras.optimizers.schedules.CosineDecayRestarts(
      initial_learning_rate,
      first_decay_steps))

您可以将此计划直接传递到 tf.keras.optimizers.Optimizer 作为学习率。学习率计划也可以使用 tf.keras.optimizers.schedules.serialize 和 tf.keras.optimizers.schedules.deserialize 进行序列化和反序列化。

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.keras.optimizers.schedules.CosineDecayRestarts。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法

返回

参数

示例用法：