Python tf.clip_by_global_norm用法及代码示例

通过它们的范数之和的比率来裁剪多个张量的值。

用法

tf.clip_by_global_norm(
    t_list, clip_norm, use_norm=None, name=None
)

给定一个元组或张量列表 t_list 和一个裁剪比率 clip_norm ，此操作返回一个裁剪张量列表 list_clipped 和 t_list 中所有张量的全局范数 (global_norm )。或者，如果您已经计算了 t_list 的全局规范，则可以使用 use_norm 指定全局规范。

为了执行剪辑，值 t_list[i] 设置为：

t_list[i] * clip_norm / max(global_norm, clip_norm)

其中:

global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))

如果 clip_norm > global_norm 则 t_list 中的条目保持原样，否则它们都将按全局比例缩小。

如果 global_norm == infinity 则 t_list 中的条目都设置为 NaN 以表示发生了错误。

t_list 的任何类型为None 的条目都将被忽略。

这是执行渐变剪裁的正确方法(Pascanu et al., 2012)。

但是，它比clip_by_norm() 慢，因为在执行剪切操作之前必须准备好所有参数。

参考：

关于训练循环神经网络的难度：Pascanu et al., 2012 (pdf)