当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python tf.compat.v1.train.inverse_time_decay用法及代码示例


将逆时间衰减应用于初始学习率。

用法

tf.compat.v1.train.inverse_time_decay(
    learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None
)

参数

  • learning_rate 标量 float32float64 Tensor 或 Python 编号。初始学习率。
  • global_step 一个 Python 编号。用于衰减计算的全局步骤。不得为负。
  • decay_steps 多久应用一次衰减。
  • decay_rate 一个 Python 编号。衰减率。
  • staircase 是否在离散的楼梯中应用衰减,而不是连续的时尚。
  • name String 。操作的可选名称。默认为'InverseTimeDecay'。

返回

  • learning_rate 类型相同的标量 Tensor 。衰减的学习率。

抛出

  • ValueError 如果未提供 global_step

在训练模型时,通常建议随着训练的进行降低学习率。此函数将逆衰减函数应用于提供的初始学习率。它需要一个global_step 值来计算衰减的学习率。您可以只传递一个 TensorFlow 变量,该变量在每个训练步骤中递增。

该函数返回衰减的学习率。它被计算为:

decayed_learning_rate = learning_rate / (1 + decay_rate * global_step /
decay_step)

或者,如果 staircaseTrue ,则为:

decayed_learning_rate = learning_rate / (1 + decay_rate * floor(global_step /
decay_step))

示例:衰减 1/t,速率为 0.5:

...
global_step = tf.Variable(0, trainable=False)
learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate = tf.compat.v1.train.inverse_time_decay(learning_rate,
global_step,
decay_steps, decay_rate)

# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.compat.v1.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

eager模式兼容性

当启用即刻执行时,此函数返回一个函数,该函数又返回衰减的学习率张量。这对于在优化器函数的不同调用中更改学习率值很有用。

相关用法


注:本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.compat.v1.train.inverse_time_decay。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。