Python PyTorch svd用法及代碼示例

本文簡要介紹python語言中 torch.linalg.svd 的用法。

用法:

torch.linalg.svd(A, full_matrices=True, *, out=None)

參數：

• A(Tensor) -形狀為 (*, m, n) 的張量，其中 * 是零個或多個批次維度。

• full_matrices(bool,可選的) -控製是計算完整的還是縮減的 SVD，因此，返回的張量 U 和 Vh 的形狀。默認值：True。

關鍵字參數：

out(tuple,可選的) -三個張量的輸出元組。如果 None 則忽略。

返回：

一個命名元組 (U, S, Vh) 對應於上麵的 U 、 S 、 V^{\text{H}} 。

S 將始終為實值，即使 A 很複雜。它也將按降序排列。

U 和 Vh 將具有與 A 相同的 dtype。左/右奇異向量將分別由U 的列和Vh 的行給出。

計算矩陣的奇異值分解 (SVD)。

讓\mathbb{K}是\mathbb{R}或者\mathbb{C}， 這全SVD矩陣的A \in \mathbb{K}^{m \times n}， 如果k = min(m,n), 定義為

A = U \operatorname{diag}(S) V^{\text{H}} \mathrlap{\qquad U \in \mathbb{K}^{m \times m}, S \in \mathbb{R}^k, V \in \mathbb{K}^{n \times n}}

其中\operatorname{diag}(S) \in \mathbb{K}^{m \times n}，V^{\text{H}}是V複數時的共軛轉置，V是實值時的轉置。矩陣 U ， V (以及因此 V^{\text{H}} )在實際情況下是正交的，在複雜情況下是單一的。

什麽時候m > n(分別。m < n) 我們可以放棄最後一個m - n(分別。n - m) 列U(分別。V) 形成減少 SVD：

A = U \operatorname{diag}(S) V^{\text{H}} \mathrlap{\qquad U \in \mathbb{K}^{m \times k}, S \in \mathbb{R}^k, V \in \mathbb{K}^{k \times n}}

其中 \operatorname{diag}(S) \in \mathbb{K}^{k \times k} 。在這種情況下，U 和V 也有正交列。

支持 float、double、cfloat 和 cdouble dtypes 的輸入。還支持批量矩陣，如果 A 是批量矩陣，則輸出具有相同的批量維度。

返回的分解是一個命名元組(U, S, Vh)，它對應於上麵的U、S、V^{\text{H}}。

奇異值按降序返回。

參數full_matrices 在完整(默認)和減少的 SVD 之間進行選擇。

與 numpy.linalg.svd 的區別：

• 與 numpy.linalg.svd 不同，此函數始終返回三個張量的元組，並且不支持 compute_uv 參數。請使用 torch.linalg.svdvals() ，它隻計算奇異值，而不是 compute_uv=False 。

注意

當 full_matrices = True 時，相對於 U[…, :, min(m, n):] 和 Vh[…, min(m, n):, :] 的梯度將被忽略，因為這些向量可以是相應子空間的任意基。

警告

返回的張量 U 和 V 不是唯一的，它們相對於 A 也不是連續的。由於缺乏唯一性，不同的硬件和軟件可能會計算不同的奇異向量。

這種非唯一性是由於將任意一對奇異向量u_k, v_k 乘以真實情況下的-1 或複雜情況下乘以e^{i \phi}, \phi \in \mathbb{R} 會產生矩陣的另外兩個有效奇異向量。當矩陣具有重複的奇異值時，這種非唯一性問題會更加嚴重。在這種情況下，可以將跨越子空間的U和V的相關奇異向量乘以旋轉矩陣和the resulting vectors will span the same subspace。

警告

使用 U 或 Vh 計算的梯度隻有在 A 不具有零作為奇異值或重複奇異值時才會是有限的。此外，如果任何兩個奇異值之間的距離接近於零，則梯度將在數值上不穩定，因為它取決於通過 \frac{1}{\min_{i \neq j} \sigma_i^2 - \sigma_j^2} 的計算得出的奇異值 \sigma_i。當 A 具有小的奇異值時，梯度也會在數值上不穩定，因為它還取決於 \frac{1}{\sigma_i} 的計算。

例子：

>>> A = torch.randn(5, 3)
>>> U, S, Vh = torch.linalg.svd(A, full_matrices=False)
>>> U.shape, S.shape, Vh.shape
(torch.Size([5, 3]), torch.Size([3]), torch.Size([3, 3]))
>>> torch.dist(A, U @ torch.diag(S) @ Vh)
tensor(1.0486e-06)

>>> U, S, Vh = torch.linalg.svd(A)
>>> U.shape, S.shape, Vh.shape
(torch.Size([5, 5]), torch.Size([3]), torch.Size([3, 3]))
>>> torch.dist(A, U[:, :3] @ torch.diag(S) @ Vh)
tensor(1.0486e-06)

>>> A = torch.randn(7, 5, 3)
>>> U, S, Vh = torch.linalg.svd(A, full_matrices=False)
>>> torch.dist(A, U @ torch.diag_embed(S) @ Vh)
tensor(3.0957e-06)