Python PyTorch svd用法及代码示例

本文简要介绍python语言中 torch.linalg.svd 的用法。

用法:

torch.linalg.svd(A, full_matrices=True, *, out=None)

参数：

• A(Tensor) -形状为 (*, m, n) 的张量，其中 * 是零个或多个批次维度。

• full_matrices(bool,可选的) -控制是计算完整的还是缩减的 SVD，因此，返回的张量 U 和 Vh 的形状。默认值：True。

关键字参数：

out(tuple,可选的) -三个张量的输出元组。如果 None 则忽略。

返回：

一个命名元组 (U, S, Vh) 对应于上面的 U 、 S 、 V^{\text{H}} 。

S 将始终为实值，即使 A 很复杂。它也将按降序排列。

U 和 Vh 将具有与 A 相同的 dtype。左/右奇异向量将分别由U 的列和Vh 的行给出。

计算矩阵的奇异值分解 (SVD)。

让\mathbb{K}是\mathbb{R}或者\mathbb{C}， 这全SVD矩阵的A \in \mathbb{K}^{m \times n}， 如果k = min(m,n), 定义为

A = U \operatorname{diag}(S) V^{\text{H}} \mathrlap{\qquad U \in \mathbb{K}^{m \times m}, S \in \mathbb{R}^k, V \in \mathbb{K}^{n \times n}}

其中\operatorname{diag}(S) \in \mathbb{K}^{m \times n}，V^{\text{H}}是V复数时的共轭转置，V是实值时的转置。矩阵 U ， V (以及因此 V^{\text{H}} )在实际情况下是正交的，在复杂情况下是单一的。

什么时候m > n(分别。m < n) 我们可以放弃最后一个m - n(分别。n - m) 列U(分别。V) 形成减少 SVD：

A = U \operatorname{diag}(S) V^{\text{H}} \mathrlap{\qquad U \in \mathbb{K}^{m \times k}, S \in \mathbb{R}^k, V \in \mathbb{K}^{k \times n}}

其中 \operatorname{diag}(S) \in \mathbb{K}^{k \times k} 。在这种情况下，U 和V 也有正交列。

支持 float、double、cfloat 和 cdouble dtypes 的输入。还支持批量矩阵，如果 A 是批量矩阵，则输出具有相同的批量维度。

返回的分解是一个命名元组(U, S, Vh)，它对应于上面的U、S、V^{\text{H}}。

奇异值按降序返回。

参数full_matrices 在完整(默认)和减少的 SVD 之间进行选择。

与 numpy.linalg.svd 的区别：

• 与 numpy.linalg.svd 不同，此函数始终返回三个张量的元组，并且不支持 compute_uv 参数。请使用 torch.linalg.svdvals() ，它只计算奇异值，而不是 compute_uv=False 。

注意

当 full_matrices = True 时，相对于 U[…, :, min(m, n):] 和 Vh[…, min(m, n):, :] 的梯度将被忽略，因为这些向量可以是相应子空间的任意基。

警告

返回的张量 U 和 V 不是唯一的，它们相对于 A 也不是连续的。由于缺乏唯一性，不同的硬件和软件可能会计算不同的奇异向量。

这种非唯一性是由于将任意一对奇异向量u_k, v_k 乘以真实情况下的-1 或复杂情况下乘以e^{i \phi}, \phi \in \mathbb{R} 会产生矩阵的另外两个有效奇异向量。当矩阵具有重复的奇异值时，这种非唯一性问题会更加严重。在这种情况下，可以将跨越子空间的U和V的相关奇异向量乘以旋转矩阵和the resulting vectors will span the same subspace。

警告

使用 U 或 Vh 计算的梯度只有在 A 不具有零作为奇异值或重复奇异值时才会是有限的。此外，如果任何两个奇异值之间的距离接近于零，则梯度将在数值上不稳定，因为它取决于通过 \frac{1}{\min_{i \neq j} \sigma_i^2 - \sigma_j^2} 的计算得出的奇异值 \sigma_i。当 A 具有小的奇异值时，梯度也会在数值上不稳定，因为它还取决于 \frac{1}{\sigma_i} 的计算。

例子：

>>> A = torch.randn(5, 3)
>>> U, S, Vh = torch.linalg.svd(A, full_matrices=False)
>>> U.shape, S.shape, Vh.shape
(torch.Size([5, 3]), torch.Size([3]), torch.Size([3, 3]))
>>> torch.dist(A, U @ torch.diag(S) @ Vh)
tensor(1.0486e-06)

>>> U, S, Vh = torch.linalg.svd(A)
>>> U.shape, S.shape, Vh.shape
(torch.Size([5, 5]), torch.Size([3]), torch.Size([3, 3]))
>>> torch.dist(A, U[:, :3] @ torch.diag(S) @ Vh)
tensor(1.0486e-06)

>>> A = torch.randn(7, 5, 3)
>>> U, S, Vh = torch.linalg.svd(A, full_matrices=False)
>>> torch.dist(A, U @ torch.diag_embed(S) @ Vh)
tensor(3.0957e-06)