Python pyspark Normalizer用法及代碼示例

本文簡要介紹 pyspark.mllib.feature.Normalizer 的用法。

用法: class pyspark.mllib.feature.Normalizer(p=2.0)

將樣本單獨標準化為單位 Lp 範數

對於任何 1 <= p < float(‘inf’)，使用 sum(abs(vector) p) (1/p) 作為範數對樣本進行歸一化。

對於p = float(‘inf’)，max(abs(vector)) 將用作規範化的標準。

版本 1.2.0 中的新函數。

參數：

p：浮點數，可選: L^p^ 空間中的歸一化，默認為 p = 2。

例子：

>>> from pyspark.mllib.linalg import Vectors
>>> v = Vectors.dense(range(3))
>>> nor = Normalizer(1)
>>> nor.transform(v)
DenseVector([0.0, 0.3333, 0.6667])

>>> rdd = sc.parallelize([v])
>>> nor.transform(rdd).collect()
[DenseVector([0.0, 0.3333, 0.6667])]

>>> nor2 = Normalizer(float("inf"))
>>> nor2.transform(v)
DenseVector([0.0, 0.5, 1.0])

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.mllib.feature.Normalizer。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。