Python tf.keras.optimizers.Adam用法及代碼示例

實現 Adam 算法的優化器。

繼承自：Optimizer

用法

tf.keras.optimizers.Adam(
    learning_rate=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-07, amsgrad=False,
    name='Adam', **kwargs
)

Adam 優化是一種基於first-order 和second-order 矩的自適應估計的隨機梯度下降方法。

根據 Kingma 等人，2014 年的說法，該方法“計算效率高，內存需求少，對梯度的對角線重新縮放不變，並且非常適合數據/參數方麵的大問題”。

用法：

opt = tf.keras.optimizers.Adam(learning_rate=0.1)
var1 = tf.Variable(10.0)
loss = lambda:(var1 ** 2)/2.0       # d(loss)/d(var1) == var1
step_count = opt.minimize(loss, [var1]).numpy()
# The first step is `-learning_rate*sign(grad)`
var1.numpy()
9.9

參考：

• 金馬等人，2014
• Reddi 等人，2018 年為了amsgrad.

注意:

epsilon 的默認值 1e-7 通常可能不是一個好的默認值。例如，在 ImageNet 上訓練 Inception 網絡時，當前較好的選擇是 1.0 或 0.1。請注意，由於 Adam 使用的是 Kingma 和 Ba 論文第 2.1 節之前的公式，而不是算法 1 中的公式，因此這裏提到的"epsilon" 在論文中是"epsilon hat"。

該算法的稀疏實現(當梯度是 IndexedSlices 對象時使用，通常是因為tf.gather 或前向傳遞中的嵌入查找)確實將動量應用於可變切片，即使它們未在前向傳遞中使用(意味著它們梯度為零)。動量衰減 (beta1) 也適用於整個動量累加器。這意味著稀疏行為等同於密集行為(與某些動量實現相反，除非實際使用變量切片，否則它們會忽略動量)。