Python tf.compat.v1.tpu.experimental.FtrlParameters用法及代碼示例

帶有 TPU 嵌入的 Ftrl 的優化參數。

用法

tf.compat.v1.tpu.experimental.FtrlParameters(
    learning_rate:float,
    learning_rate_power:float = -0.5,
    initial_accumulator_value:float = 0.1,
    l1_regularization_strength:float = 0.0,
    l2_regularization_strength:float = 0.0,
    use_gradient_accumulation:bool = True,
    clip_weight_min:Optional[float] = None,
    clip_weight_max:Optional[float] = None,
    weight_decay_factor:Optional[float] = None,
    multiply_weight_decay_factor_by_learning_rate:Optional[bool] = None,
    multiply_linear_by_learning_rate:bool = False,
    beta:float = 0,
    allow_zero_accumulator:bool = False,
    clip_gradient_min:Optional[float] = None,
    clip_gradient_max:Optional[float] = None
)

參數

learning_rate 一個浮點值。學習率。
learning_rate_power 浮點值，必須小於或等於零。控製在訓練期間學習率如何降低。使用零表示固定的學習率。見第 3.1 節紙.
initial_accumulator_value 累加器的起始值。隻允許零值或正值。
l1_regularization_strength 浮點值，必須大於或等於零。
l2_regularization_strength 浮點值，必須大於或等於零。
use_gradient_accumulation 將此設置為 False 會使嵌入梯度計算的準確性降低但速度更快。詳情請參閱optimization_parameters.proto。詳情。
clip_weight_min 要裁剪的最小值；無意味著-無窮大。
clip_weight_max 要裁剪的最大值；無意味著+無窮大。
weight_decay_factor 要應用的重量衰減量； None 表示權重沒有衰減。
multiply_weight_decay_factor_by_learning_rate 如果為真，weight_decay_factor 將乘以當前學習率。
multiply_linear_by_learning_rate 如果為真，則將權重更新中線性槽的使用量乘以學習率。這在從 0 開始提高學習率(通常會產生 NaN)時很有用。
beta FTRL 的 beta 參數。
allow_zero_accumulator 更改平方根的實現以允許 initial_accumulator_value 為零的情況。這將導致輕微的性能下降。
clip_gradient_min 要裁剪的最小值；無意味著-無窮大。如果設置了梯度累積，則必須將其設置為 true。
clip_gradient_max 要裁剪的最大值；無意味著+無窮大。如果設置了梯度累積，則必須將其設置為 true。

通過 optimization_parameters 參數將此傳遞給 tf.estimator.tpu.experimental.EmbeddingConfigSpec 以設置優化器及其參數。有關更多詳細信息，請參閱tf.estimator.tpu.experimental.EmbeddingConfigSpec 的文檔。

estimator = tf.estimator.tpu.TPUEstimator(
    ...
    embedding_config_spec=tf.estimator.tpu.experimental.EmbeddingConfigSpec(
        ...
        optimization_parameters=tf.tpu.experimental.FtrlParameters(0.1),
        ...))

相關用法

注：本文由純淨天空篩選整理自tensorflow.org大神的英文原創作品 tf.compat.v1.tpu.experimental.FtrlParameters。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。