Python pyspark IndexedRowMatrix.computeSVD用法及代码示例

计算 IndexedRowMatrix 的奇异值分解。

给定的维数 (m X n) 的行矩阵 A 被分解为 U * s * V'T 其中

• U：(m X k)(左奇异向量)是IndexedRowMatrix

  其列是 (A X A') 的特征向量

• s: DenseVector 由特征值的平方根组成

  (奇异值)按降序排列。

• v: (n X k)(右奇异向量)是一个矩阵，其列

  是 (A’ X A) 的特征向量

有关实现的更多具体细节，请参阅 scala 文档。

参数：

k：int

要保留的前导奇异值的数量(0 < k <= n)。如果在达到最大 Arnoldi 更新迭代次数之前存在数字零奇异值或没有足够的 Ritz 值收敛(如果矩阵 A 为 ill-conditioned)，则它可能返回小于 k。

computeU：布尔型，可选

是否计算 U。如果设置为 True，则 U 由 A * V * s^-1 计算

rCond：浮点数，可选

倒数条件数。所有小于 rCond * s[0] 的奇异值都被视为零，其中 s[0] 是最大的奇异值。

返回：

SingularValueDecomposition

例子：

>>> rows = [(0, (3, 1, 1)), (1, (-1, 3, 1))]
>>> irm = IndexedRowMatrix(sc.parallelize(rows))
>>> svd_model = irm.computeSVD(2, True)
>>> svd_model.U.rows.collect() 
[IndexedRow(0, [-0.707106781187,0.707106781187]),        IndexedRow(1, [-0.707106781187,-0.707106781187])]
>>> svd_model.s
DenseVector([3.4641, 3.1623])
>>> svd_model.V
DenseMatrix(3, 2, [-0.4082, -0.8165, -0.4082, 0.8944, -0.4472, 0.0], 0)