Python PyTorch norm用法及代码示例

本文简要介绍python语言中 torch.linalg.norm 的用法。

用法:

torch.linalg.norm(A, ord=None, dim=None, keepdim=False, *, out=None, dtype=None) → Tensor

参数：

• A(Tensor) -形状为 (*, n) 或 (*, m, n) 的张量，其中 * 是零个或多个批次维度

• ord(int,float,inf,-inf,'fro','nuc',可选的) - 规范的顺序。默认：None

• dim(int,元组[int],可选的) - 计算向量或矩阵范数的维度。见上面的行为时dim= None.默认：None

• keepdim(bool,可选的) -如果设置为 True ，则减少的维度将作为大小为 1 的维度保留在结果中。默认值：False

关键字参数：

• out(Tensor,可选的) -输出张量。如果 None 则忽略。默认值：None。

• dtype(torch.dtype， 可选的) -如果指定，则在执行操作之前输入张量将转换为 dtype ，并且返回的张量的类型将为 dtype 。默认值：None

返回：

一个实值张量，即使 A 是复数。

计算向量或矩阵范数。

如果 A 是复数值，则计算 A .abs() 的范数

支持 float、double、cfloat 和 cdouble dtypes 的输入。

该函数是计算向量范数还是矩阵范数，其确定如下：

• 如果 dim 是 int ，则将计算矢量范数。

• 如果 dim 是 2 - tuple ，则将计算矩阵范数。

• 如果 dim = None 和 ord = None ， A 将被展平为 1D 并且将计算结果向量的 2 范数。

• 如果 dim = None 和 ord != None ， A 必须是 1D 或 2D。

ord 定义计算的范数。支持以下规范：

ord	矩阵的范数	向量的范数
None(默认)	弗罗贝尼乌斯范数	2 -norm(见下文)
‘fro’	弗罗贝尼乌斯范数	- 不支持 -
‘nuc’	核规范	- 不支持 -
inf	max(sum(abs(x), dim=1))	max(abs(x))
-inf	min(sum(abs(x), dim=1))	min(abs(x))
0	- 不支持 -	sum(x != 0)
1	max(sum(abs(x), dim=0))	如下
-1	min(sum(abs(x), dim=0))	如下
2	最大奇异值	如下
-2	最小奇异值	如下
其他 int 或 float	- 不支持 -	sum(abs(x)^{ord})^{(1 / ord)}

其中 inf 指的是 float(‘inf’) 、NumPy 的 inf 对象或任何等效对象。

例子：

>>> from torch import linalg as LA
>>> a = torch.arange(9, dtype=torch.float) - 4
>>> a
tensor([-4., -3., -2., -1.,  0.,  1.,  2.,  3.,  4.])
>>> B = a.reshape((3, 3))
>>> B
tensor([[-4., -3., -2.],
        [-1.,  0.,  1.],
        [ 2.,  3.,  4.]])

>>> LA.norm(a)
tensor(7.7460)
>>> LA.norm(B)
tensor(7.7460)
>>> LA.norm(B, 'fro')
tensor(7.7460)
>>> LA.norm(a, float('inf'))
tensor(4.)
>>> LA.norm(B, float('inf'))
tensor(9.)
>>> LA.norm(a, -float('inf'))
tensor(0.)
>>> LA.norm(B, -float('inf'))
tensor(2.)

>>> LA.norm(a, 1)
tensor(20.)
>>> LA.norm(B, 1)
tensor(7.)
>>> LA.norm(a, -1)
tensor(0.)
>>> LA.norm(B, -1)
tensor(6.)
>>> LA.norm(a, 2)
tensor(7.7460)
>>> LA.norm(B, 2)
tensor(7.3485)

>>> LA.norm(a, -2)
tensor(0.)
>>> LA.norm(B.double(), -2)
tensor(1.8570e-16, dtype=torch.float64)
>>> LA.norm(a, 3)
tensor(5.8480)
>>> LA.norm(a, -3)
tensor(0.)

使用 dim 参数计算向量范数：

>>> c = torch.tensor([[1., 2., 3.],
...                   [-1, 1, 4]])
>>> LA.norm(c, dim=0)
tensor([1.4142, 2.2361, 5.0000])
>>> LA.norm(c, dim=1)
tensor([3.7417, 4.2426])
>>> LA.norm(c, ord=1, dim=1)
tensor([6., 6.])

使用 dim 参数计算矩阵范数：

>>> A = torch.arange(8, dtype=torch.float).reshape(2, 2, 2)
>>> LA.norm(A, dim=(1,2))
tensor([ 3.7417, 11.2250])
>>> LA.norm(A[0, :, :]), LA.norm(A[1, :, :])
(tensor(3.7417), tensor(11.2250))