当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python tf.compat.v1.train.cosine_decay_restarts用法及代码示例


将带有重新启动的余弦衰减应用于学习率。

用法

tf.compat.v1.train.cosine_decay_restarts(
    learning_rate, global_step, first_decay_steps, t_mul=2.0, m_mul=1.0, alpha=0.0,
    name=None
)

参数

  • learning_rate 标量 float32 或 float64 张量或 Python 数字。初始学习率。
  • global_step 标量 int32 或 int64 Tensor 或 Python 编号。用于衰减计算的全局步骤。
  • first_decay_steps 标量 int32 或 int64 Tensor 或 Python 编号。要衰减的步数。
  • t_mul 标量 float32 或 float64 Tensor 或 Python 编号。用于推导i-th周期内的迭代次数
  • m_mul 标量 float32 或 float64 Tensor 或 Python 编号。用于推导i-th周期的初始学习率：
  • alpha 标量 float32 或 float64 张量或 Python 数字。最小学习率值作为learning_rate 的一部分。
  • name String 。操作的可选名称。默认为'SGDRDecay'。

返回

  • 与 learning_rate 类型相同的标量 Tensor 。衰减的学习率。

抛出

  • ValueError 如果未提供 global_step。

在训练模型时，通常建议随着训练的进行降低学习率。此函数将余弦衰减函数与重新启动应用到提供的初始学习率。它需要一个global_step 值来计算衰减的学习率。您可以只传递一个 TensorFlow 变量，该变量在每个训练步骤中递增。

该函数返回衰减的学习率，同时考虑可能的热重启。对于 first_decay_steps 步骤，学习率乘数首先从 1 衰减到 alpha。然后，执行热重启。每次新的热重启运行 t_mul 倍的步数和 m_mul 倍的初始学习率。

示例用法：

first_decay_steps = 1000
lr_decayed = cosine_decay_restarts(learning_rate, global_step,
                                   first_decay_steps)

参考：

带有热重启的随机梯度下降：Loshchilov 等人，2017 (pdf)

eager模式兼容性

当启用即刻执行时，此函数返回一个函数，该函数又返回衰减的学习率张量。这对于在优化器函数的不同调用中更改学习率值很有用。

相关用法


注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.compat.v1.train.cosine_decay_restarts。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。