Python tf.compat.v1.tpu.experimental.FtrlParameters用法及代码示例

带有 TPU 嵌入的 Ftrl 的优化参数。

用法

tf.compat.v1.tpu.experimental.FtrlParameters(
    learning_rate:float,
    learning_rate_power:float = -0.5,
    initial_accumulator_value:float = 0.1,
    l1_regularization_strength:float = 0.0,
    l2_regularization_strength:float = 0.0,
    use_gradient_accumulation:bool = True,
    clip_weight_min:Optional[float] = None,
    clip_weight_max:Optional[float] = None,
    weight_decay_factor:Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate:Optional[bool] = None,
    multiply_linear_by_learning_rate:bool = False,
    beta:float = 0,
    allow_zero_accumulator:bool = False,
    clip_gradient_min:Optional[float] = None,
    clip_gradient_max:Optional[float] = None
)

参数

learning_rate 一个浮点值。学习率。
learning_rate_power 浮点值，必须小于或等于零。控制在训练期间学习率如何降低。使用零表示固定的学习率。见第 3.1 节纸.
initial_accumulator_value 累加器的起始值。只允许零值或正值。
l1_regularization_strength 浮点值，必须大于或等于零。
l2_regularization_strength 浮点值，必须大于或等于零。
use_gradient_accumulation 将此设置为 False 会使嵌入梯度计算的准确性降低但速度更快。详情请参阅optimization_parameters.proto。详情。
clip_weight_min 要裁剪的最小值；无意味着-无穷大。
clip_weight_max 要裁剪的最大值；无意味着+无穷大。
weight_decay_factor 要应用的重量衰减量； None 表示权重没有衰减。
multiply_weight_decay_factor_by_learning_rate 如果为真，weight_decay_factor 将乘以当前学习率。
multiply_linear_by_learning_rate 如果为真，则将权重更新中线性槽的使用量乘以学习率。这在从 0 开始提高学习率(通常会产生 NaN)时很有用。
beta FTRL 的 beta 参数。
allow_zero_accumulator 更改平方根的实现以允许 initial_accumulator_value 为零的情况。这将导致轻微的性能下降。
clip_gradient_min 要裁剪的最小值；无意味着-无穷大。如果设置了梯度累积，则必须将其设置为 true。
clip_gradient_max 要裁剪的最大值；无意味着+无穷大。如果设置了梯度累积，则必须将其设置为 true。

通过 optimization_parameters 参数将此传递给 tf.estimator.tpu.experimental.EmbeddingConfigSpec 以设置优化器及其参数。有关更多详细信息，请参阅tf.estimator.tpu.experimental.EmbeddingConfigSpec 的文档。

estimator = tf.estimator.tpu.TPUEstimator(
    ...
    embedding_config_spec=tf.estimator.tpu.experimental.EmbeddingConfigSpec(
        ...
        optimization_parameters=tf.tpu.experimental.FtrlParameters(0.1),
        ...))

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.compat.v1.tpu.experimental.FtrlParameters。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。