Python tf.keras.optimizers.Adamax用法及代碼示例

實現 Adamax 算法的優化器。

繼承自：Optimizer

用法

tf.keras.optimizers.Adamax(
    learning_rate=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-07,
    name='Adamax', **kwargs
)

它是基於無窮範數的亞當的變體。默認參數遵循論文中提供的參數。 Adamax 有時優於 adam，特別是在具有嵌入的模型中。

初始化：

m = 0  # Initialize initial 1st moment vector
v = 0  # Initialize the exponentially weighted infinity norm
t = 0  # Initialize timestep

帶梯度g的參數w的更新規則在論文第7.1節末尾說明：

t += 1
m = beta1 * m + (1 - beta) * g
v = max(beta2 * v, abs(g))
current_lr = learning_rate / (1 - beta1 ** t)
w = w - current_lr * m / (v + epsilon)

與 Adam 類似，添加 epsilon 是為了數值穩定性(尤其是在 v_t == 0 時擺脫除以零)。

與 Adam 相比，此算法的稀疏實現(當梯度是 IndexedSlices 對象時使用，通常是因為 tf.gather 或前向傳遞中的嵌入查找)僅在以下情況下更新可變切片和相應的 m_t , v_t 項部分變量用於前向傳遞。這意味著稀疏行為與密集行為形成對比(類似於某些動量實現，除非實際使用變量切片，否則忽略動量)。

參考：

• 金馬等人，2014