Python tf.compat.v1.mixed_precision.MixedPrecisionLossScaleOptimizer用法及代碼示例

應用損失縮放的優化器。

繼承自：Optimizer

用法

tf.compat.v1.mixed_precision.MixedPrecisionLossScaleOptimizer(
    opt, loss_scale
)

損失縮放是將損失乘以稱為損失比例的乘數的過程，並將每個梯度除以相同的乘數。這個過程的偽代碼是：

loss = ...
loss *= loss_scale
grads = gradients(loss, vars)
grads /= loss_scale

在數學上，損失縮放沒有影響，但是當 float16 張量用於混合精度訓練時，可以幫助避免中間梯度中的數值下溢。通過乘以損失，每個中間梯度將應用相同的乘數。

損失比例可以是固定常數，由用戶選擇，也可以是動態確定的。動態確定損失規模很方便，因為不必明確選擇損失規模。但是，它會降低性能。

該優化器包裝了另一個優化器，並通過 LossScale 對其應用損失縮放。每當計算梯度時都會應用損失縮放，例如通過 minimize() 。