Python tf.keras.optimizers.schedules.InverseTimeDecay用法及代码示例

使用反时间衰减时间表的 LearningRateSchedule。

继承自：LearningRateSchedule

用法

tf.keras.optimizers.schedules.InverseTimeDecay(
    initial_learning_rate, decay_steps, decay_rate, staircase=False, name=None
)

在训练模型时，随着训练的进行降低学习率通常很有用。给定提供的初始学习率，此计划将逆衰减函数应用于优化器步骤。它需要一个step 值来计算衰减的学习率。您可以只传递一个 TensorFlow 变量，该变量在每个训练步骤中递增。

该计划是一个 1-arg 可调用对象，当通过当前优化器步骤时会产生衰减的学习率。这对于在优化器函数的不同调用中更改学习率值很有用。它被计算为：

def decayed_learning_rate(step):
  return initial_learning_rate / (1 + decay_rate * step / decay_step)

或者，如果 staircase 是 True ，则为：

def decayed_learning_rate(step):
  return initial_learning_rate / (1 + decay_rate * floor(step / decay_step))

您可以将此计划直接传递到 tf.keras.optimizers.Optimizer 作为学习率。示例：以 0.5 的速率衰减 1/t 时拟合 Keras 模型：

...
initial_learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate_fn = keras.optimizers.schedules.InverseTimeDecay(
  initial_learning_rate, decay_steps, decay_rate)

model.compile(optimizer=tf.keras.optimizers.SGD(
                  learning_rate=learning_rate_fn),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

model.fit(data, labels, epochs=5)