Python tf.clip_by_norm用法及代碼示例

將張量值裁剪為最大 L2 範數。

用法

tf.clip_by_norm(
    t, clip_norm, axes=None, name=None
)

給定一個張量 t 和一個最大剪輯值 clip_norm ，此操作對 t 進行歸一化，使其 L2 範數小於或等於 clip_norm ，沿著 axes 中給出的維度。具體來說，在所有維度都用於計算的默認情況下，如果t的L2範數已經小於或等於clip_norm，則不修改t。如果 L2 範數大於 clip_norm ，則此操作返回與 t 具有相同類型和形狀的張量，其值設置為：

t * clip_norm / l2norm(t)

在這種情況下，輸出張量的 L2 範數是 clip_norm 。

作為另一個示例，如果 t 是矩陣且 axes == [1] ，則輸出的每一行的 L2 範數都將小於或等於 clip_norm 。如果改為axes == [0]，則輸出的每一列都將被剪裁。

代碼示例：

some_nums = tf.constant([[1, 2, 3, 4, 5]], dtype=tf.float32)
tf.clip_by_norm(some_nums, 2.0).numpy()
array([[0.26967996, 0.5393599 , 0.80903983, 1.0787199 , 1.3483998 ]],
      dtype=float32)

此操作通常用於在使用優化器應用漸變之前裁剪漸變。大多數梯度數據是模型不同部分的不同形狀張量的集合。因此，這是一個常見的用法：

# Get your gradients after training
loss_value, grads = grad(model, features, labels)

# Apply some clipping
grads = [tf.clip_by_norm(g, norm)
             for g in grads]

# Continue on with training
optimizer.apply_gradients(grads)