Python pyspark MLUtils.loadLabeledPoints用法及代码示例

本文简要介绍 pyspark.mllib.util.MLUtils.loadLabeledPoints 的用法。

用法: static loadLabeledPoints(sc, path, minPartitions=None)

加载使用 RDD.saveAsTextFile 保存的标记点。

1.0.0 版中的新函数。

参数：

sc：SparkContext: Spark上下文
path：str: 任何 Hadoop-supported 文件系统 URI 中的文件或目录路径
minPartitions：整数，可选: 最小分区数

pyspark.RDD: 标记数据存储为 LabeledPoint 的 RDD

例子：

>>> from tempfile import NamedTemporaryFile
>>> from pyspark.mllib.util import MLUtils
>>> from pyspark.mllib.regression import LabeledPoint
>>> examples = [LabeledPoint(1.1, Vectors.sparse(3, [(0, -1.23), (2, 4.56e-7)])),
...             LabeledPoint(0.0, Vectors.dense([1.01, 2.02, 3.03]))]
>>> tempFile = NamedTemporaryFile(delete=True)
>>> tempFile.close()
>>> sc.parallelize(examples, 1).saveAsTextFile(tempFile.name)
>>> MLUtils.loadLabeledPoints(sc, tempFile.name).collect()
[LabeledPoint(1.1, (3,[0,2],[-1.23,4.56e-07])), LabeledPoint(0.0, [1.01,2.02,3.03])]

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.mllib.util.MLUtils.loadLabeledPoints。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法:

参数：

返回：

例子：