Python tf.compat.v1.tpu.experimental.AdagradParameters用法及代码示例

使用 TPU 嵌入的 Adagrad 优化参数。

用法

tf.compat.v1.tpu.experimental.AdagradParameters(
    learning_rate:float,
    initial_accumulator:float = 0.1,
    use_gradient_accumulation:bool = True,
    clip_weight_min:Optional[float] = None,
    clip_weight_max:Optional[float] = None,
    weight_decay_factor:Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate:Optional[bool] = None,
    clip_gradient_min:Optional[float] = None,
    clip_gradient_max:Optional[float] = None
)

参数

learning_rate 用于更新嵌入表。
initial_accumulator Adagrad 的初始累加器。
use_gradient_accumulation 将此设置为 False 会使嵌入梯度计算的准确性降低但速度更快。详情请参阅optimization_parameters.proto。
clip_weight_min 要裁剪的最小值；无意味着-无穷大。
clip_weight_max 要裁剪的最大值；无意味着+无穷大。
weight_decay_factor 要应用的重量衰减量； None 表示权重没有衰减。
multiply_weight_decay_factor_by_learning_rate 如果为真，weight_decay_factor 将乘以当前学习率。
clip_gradient_min 要裁剪的最小值；无意味着-无穷大。如果设置了梯度累积，则必须将其设置为 true。
clip_gradient_max 要裁剪的最大值；无意味着+无穷大。如果设置了梯度累积，则必须将其设置为 true。

通过 optimization_parameters 参数将此传递给 tf.estimator.tpu.experimental.EmbeddingConfigSpec 以设置优化器及其参数。有关更多详细信息，请参阅tf.estimator.tpu.experimental.EmbeddingConfigSpec 的文档。

estimator = tf.estimator.tpu.TPUEstimator(
    ...
    embedding_spec=tf.estimator.tpu.experimental.EmbeddingConfigSpec(
        ...
        optimization_parameters=tf.tpu.experimental.AdagradParameters(0.1),
        ...))

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.compat.v1.tpu.experimental.AdagradParameters。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。