Python tf.compat.v1.train.noisy_linear_cosine_decay用法及代碼示例

將嘈雜的線性餘弦衰減應用於學習率。

用法

tf.compat.v1.train.noisy_linear_cosine_decay(
    learning_rate, global_step, decay_steps, initial_variance=1.0,
    variance_decay=0.55, num_periods=0.5, alpha=0.0, beta=0.001, name=None
)

請注意，線性餘弦衰減比餘弦衰減更具侵略性，通常可以使用更大的初始學習率。

在訓練模型時，通常建議隨著訓練的進行降低學習率。此函數將噪聲線性餘弦衰減函數應用於提供的初始學習率。它需要一個global_step 值來計算衰減的學習率。您可以隻傳遞一個 TensorFlow 變量，該變量在每個訓練步驟中遞增。

該函數返回衰減的學習率。它被計算為：

global_step = min(global_step, decay_steps)
linear_decay = (decay_steps - global_step) / decay_steps)
cosine_decay = 0.5 * (
    1 + cos(pi * 2 * num_periods * global_step / decay_steps))
decayed = (alpha + linear_decay + eps_t) * cosine_decay + beta
decayed_learning_rate = learning_rate * decayed

其中 eps_t 是具有方差的 0 中心高斯噪聲 initial_variance /(1 + global_step) ** variance_decay

示例用法：

decay_steps = 1000
lr_decayed = noisy_linear_cosine_decay(
  learning_rate, global_step, decay_steps)

參考：

帶有強化學習的神經優化器搜索：Bello 等人，2017 (pdf) 帶有熱重啟的隨機梯度下降：Loshchilov 等人，2017 (pdf)

eager模式兼容性

當啟用即刻執行時，此函數返回一個函數，該函數又返回衰減的學習率張量。這對於在優化器函數的不同調用中更改學習率值很有用。