Python tf.compat.v1.train.AdagradOptimizer用法及代碼示例

實現 Adagrad 算法的優化器。

繼承自：Optimizer

用法

tf.compat.v1.train.AdagradOptimizer(
    learning_rate, initial_accumulator_value=0.1, use_locking=False,
    name='Adagrad'
)

遷移到 TF2

警告：這個 API 是為 TensorFlow v1 設計的。繼續閱讀有關如何從該 API 遷移到本機 TensorFlow v2 等效項的詳細信息。見TensorFlow v1 到 TensorFlow v2 遷移指南有關如何遷移其餘代碼的說明。

tf.compat.v1.train.AdagradOptimizer 與 Eager 模式和 tf.function 兼容。當啟用即刻執行時，learning_rate , initial_accumulator_value 和 epsilon 都可以是不帶參數並返回要使用的實際值的可調用對象。這對於在優化器函數的不同調用中更改這些值很有用。

要切換到原生 TF2 樣式，請改用 tf.keras.optimizers.Adagrad。請注意，由於實現的差異，tf.keras.optimizers.Adagrad 和tf.compat.v1.train.AdagradOptimizer 在浮點數值上可能會略有不同，即使用於變量更新的公式仍然匹配。

到原生 TF2 的結構映射

前：

optimizer = tf.compat.v1.train.AdagradOptimizer(
  learning_rate=learning_rate,
  initial_accumulator_value=initial_accumulator_value)

後：

optimizer = tf.keras.optimizers.Adagrad(
  learning_rate=learning_rate,
  initial_accumulator_value=initial_accumulator_value,
  epsilon=1e-07)

如何映射參數

TF1 參數名稱	TF2 參數名稱	注意
learning_rate	learning_rate	小心設置從全局步驟計算的learning_rate 張量值。在 TF1 中，這通常意味著動態學習率，並且會在每一步中重新計算。在 TF2 (eager + function) 中，它會將其視為僅計算一次的標量值，而不是每次都計算的符號占位符。
initial_accumulator_value	initial_accumulator_value	參數在 TF2 中可以是零值，在 TF1 中不接受。
-	epsilon	epsilon 在 TF2 中變得可配置。默認值從 1e-8 更改為 1e-7
use_locking	-	不適用於 TF2。

使用前後示例

前：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdagradOptimizer(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

後：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.Adagrad(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

參考：

在線學習和隨機優化的自適應次梯度方法：Duchi et al., 2011 (pdf)