Python tf.compat.v1.train.polynomial_decay用法及代碼示例

對學習率應用多項式衰減。

用法

tf.compat.v1.train.polynomial_decay(
    learning_rate, global_step, decay_steps, end_learning_rate=0.0001, power=1.0,
    cycle=False, name=None
)

通常觀察到，單調遞減的學習率(其變化程度經過精心選擇)會產生更好的模型。此函數將多項式衰減函數應用於提供的初始 learning_rate 以達到給定 decay_steps 中的 end_learning_rate。

它需要一個global_step 值來計算衰減的學習率。您可以隻傳遞一個 TensorFlow 變量，該變量在每個訓練步驟中遞增。

該函數返回衰減的學習率。它被計算為：

global_step = min(global_step, decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
                        (1 - global_step / decay_steps) ^ (power) +
                        end_learning_rate

如果 cycle 為 True 則使用 decay_steps 的倍數，第一個大於 global_steps 。

decay_steps = decay_steps * ceil(global_step / decay_steps)
decayed_learning_rate = (learning_rate - end_learning_rate) *
                        (1 - global_step / decay_steps) ^ (power) +
                        end_learning_rate

示例：使用 sqrt 以 10000 步從 0.1 衰減到 0.01(即 power=0.5)：

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
end_learning_rate = 0.01
decay_steps = 10000
learning_rate = tf.compat.v1.train.polynomial_decay(starter_learning_rate,
global_step,
                                          decay_steps, end_learning_rate,
                                          power=0.5)
# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.compat.v1.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

eager模式兼容性

當啟用即刻執行時，此函數返回一個函數，該函數又返回衰減的學習率張量。這對於在優化器函數的不同調用中更改學習率值很有用。