Python pyspark Normalizer用法及代码示例

本文简要介绍 pyspark.mllib.feature.Normalizer 的用法。

用法: class pyspark.mllib.feature.Normalizer(p=2.0)

将样本单独标准化为单位 Lp 范数

对于任何 1 <= p < float(‘inf’)，使用 sum(abs(vector) p) (1/p) 作为范数对样本进行归一化。

对于p = float(‘inf’)，max(abs(vector)) 将用作规范化的标准。

版本 1.2.0 中的新函数。

参数：

p：浮点数，可选: L^p^ 空间中的归一化，默认为 p = 2。

例子：

>>> from pyspark.mllib.linalg import Vectors
>>> v = Vectors.dense(range(3))
>>> nor = Normalizer(1)
>>> nor.transform(v)
DenseVector([0.0, 0.3333, 0.6667])

>>> rdd = sc.parallelize([v])
>>> nor.transform(rdd).collect()
[DenseVector([0.0, 0.3333, 0.6667])]

>>> nor2 = Normalizer(float("inf"))
>>> nor2.transform(v)
DenseVector([0.0, 0.5, 1.0])

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.mllib.feature.Normalizer。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。