Python tf.compat.v1.train.polynomial_decay用法及代码示例

对学习率应用多项式衰减。

用法

tf.compat.v1.train.polynomial_decay(
    learning_rate, global_step, decay_steps, end_learning_rate=0.0001, power=1.0,
    cycle=False, name=None
)

通常观察到，单调递减的学习率(其变化程度经过精心选择)会产生更好的模型。此函数将多项式衰减函数应用于提供的初始 learning_rate 以达到给定 decay_steps 中的 end_learning_rate。

它需要一个global_step 值来计算衰减的学习率。您可以只传递一个 TensorFlow 变量，该变量在每个训练步骤中递增。

该函数返回衰减的学习率。它被计算为：

global_step = min(global_step, decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
                        (1 - global_step / decay_steps) ^ (power) +
                        end_learning_rate

如果 cycle 为 True 则使用 decay_steps 的倍数，第一个大于 global_steps 。

decay_steps = decay_steps * ceil(global_step / decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
                        (1 - global_step / decay_steps) ^ (power) +
                        end_learning_rate

示例：使用 sqrt 以 10000 步从 0.1 衰减到 0.01(即 power=0.5)：

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate = tf.compat.v1.train.polynomial_decay(starter_learning_rate,
global_step,
                                          decay_steps, end_learning_rate,
                                          power=0.5)
# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.compat.v1.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

eager模式兼容性

当启用即刻执行时，此函数返回一个函数，该函数又返回衰减的学习率张量。这对于在优化器函数的不同调用中更改学习率值很有用。