Python tf.compat.v1.train.AdagradOptimizer用法及代码示例

实现 Adagrad 算法的优化器。

继承自：Optimizer

用法

tf.compat.v1.train.AdagradOptimizer(
    learning_rate, initial_accumulator_value=0.1, use_locking=False,
    name='Adagrad'
)

迁移到 TF2

警告：这个 API 是为 TensorFlow v1 设计的。继续阅读有关如何从该 API 迁移到本机 TensorFlow v2 等效项的详细信息。见TensorFlow v1 到 TensorFlow v2 迁移指南有关如何迁移其余代码的说明。

tf.compat.v1.train.AdagradOptimizer 与 Eager 模式和 tf.function 兼容。当启用即刻执行时，learning_rate , initial_accumulator_value 和 epsilon 都可以是不带参数并返回要使用的实际值的可调用对象。这对于在优化器函数的不同调用中更改这些值很有用。

要切换到原生 TF2 样式，请改用 tf.keras.optimizers.Adagrad。请注意，由于实现的差异，tf.keras.optimizers.Adagrad 和tf.compat.v1.train.AdagradOptimizer 在浮点数值上可能会略有不同，即使用于变量更新的公式仍然匹配。

到原生 TF2 的结构映射

前：

optimizer = tf.compat.v1.train.AdagradOptimizer(
  learning_rate=learning_rate,
  initial_accumulator_value=initial_accumulator_value)

后：

optimizer = tf.keras.optimizers.Adagrad(
  learning_rate=learning_rate,
  initial_accumulator_value=initial_accumulator_value,
  epsilon=1e-07)

如何映射参数

TF1 参数名称	TF2 参数名称	注意
learning_rate	learning_rate	小心设置从全局步骤计算的learning_rate 张量值。在 TF1 中，这通常意味着动态学习率，并且会在每一步中重新计算。在 TF2 (eager + function) 中，它会将其视为仅计算一次的标量值，而不是每次都计算的符号占位符。
initial_accumulator_value	initial_accumulator_value	参数在 TF2 中可以是零值，在 TF1 中不接受。
-	epsilon	epsilon 在 TF2 中变得可配置。默认值从 1e-8 更改为 1e-7
use_locking	-	不适用于 TF2。

使用前后示例

前：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdagradOptimizer(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

后：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.Adagrad(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

参考：

在线学习和随机优化的自适应次梯度方法：Duchi et al., 2011 (pdf)