當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python tf.compat.v1.train.cosine_decay_restarts用法及代碼示例


將帶有重新啟動的餘弦衰減應用於學習率。

用法

tf.compat.v1.train.cosine_decay_restarts(
    learning_rate, global_step, first_decay_steps, t_mul=2.0, m_mul=1.0, alpha=0.0,
    name=None
)

參數

  • learning_rate 標量 float32 或 float64 張量或 Python 數字。初始學習率。
  • global_step 標量 int32 或 int64 Tensor 或 Python 編號。用於衰減計算的全局步驟。
  • first_decay_steps 標量 int32 或 int64 Tensor 或 Python 編號。要衰減的步數。
  • t_mul 標量 float32 或 float64 Tensor 或 Python 編號。用於推導i-th周期內的迭代次數
  • m_mul 標量 float32 或 float64 Tensor 或 Python 編號。用於推導i-th周期的初始學習率：
  • alpha 標量 float32 或 float64 張量或 Python 數字。最小學習率值作為learning_rate 的一部分。
  • name String 。操作的可選名稱。默認為'SGDRDecay'。

返回

  • 與 learning_rate 類型相同的標量 Tensor 。衰減的學習率。

拋出

  • ValueError 如果未提供 global_step。

在訓練模型時，通常建議隨著訓練的進行降低學習率。此函數將餘弦衰減函數與重新啟動應用到提供的初始學習率。它需要一個global_step 值來計算衰減的學習率。您可以隻傳遞一個 TensorFlow 變量，該變量在每個訓練步驟中遞增。

該函數返回衰減的學習率，同時考慮可能的熱重啟。對於 first_decay_steps 步驟，學習率乘數首先從 1 衰減到 alpha。然後，執行熱重啟。每次新的熱重啟運行 t_mul 倍的步數和 m_mul 倍的初始學習率。

示例用法：

first_decay_steps = 1000
lr_decayed = cosine_decay_restarts(learning_rate, global_step,
                                   first_decay_steps)

參考：

帶有熱重啟的隨機梯度下降：Loshchilov 等人，2017 (pdf)

eager模式兼容性

當啟用即刻執行時，此函數返回一個函數，該函數又返回衰減的學習率張量。這對於在優化器函數的不同調用中更改學習率值很有用。

相關用法


注：本文由純淨天空篩選整理自tensorflow.org大神的英文原創作品 tf.compat.v1.train.cosine_decay_restarts。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。