Python tf.keras.optimizers.schedules.InverseTimeDecay用法及代碼示例

使用反時間衰減時間表的 LearningRateSchedule。

繼承自：LearningRateSchedule

用法

tf.keras.optimizers.schedules.InverseTimeDecay(
    initial_learning_rate, decay_steps, decay_rate, staircase=False, name=None
)

在訓練模型時，隨著訓練的進行降低學習率通常很有用。給定提供的初始學習率，此計劃將逆衰減函數應用於優化器步驟。它需要一個step 值來計算衰減的學習率。您可以隻傳遞一個 TensorFlow 變量，該變量在每個訓練步驟中遞增。

該計劃是一個 1-arg 可調用對象，當通過當前優化器步驟時會產生衰減的學習率。這對於在優化器函數的不同調用中更改學習率值很有用。它被計算為：

def decayed_learning_rate(step):
  return initial_learning_rate / (1 + decay_rate * step / decay_step)

或者，如果 staircase 是 True ，則為：

def decayed_learning_rate(step):
  return initial_learning_rate / (1 + decay_rate * floor(step / decay_step))

您可以將此計劃直接傳遞到 tf.keras.optimizers.Optimizer 作為學習率。示例：以 0.5 的速率衰減 1/t 時擬合 Keras 模型：

...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
  initial_learning_rate, decay_steps, decay_rate)

model.compile(optimizer=tf.keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)