Python pyspark MLUtils.loadLabeledPoints用法及代碼示例

本文簡要介紹 pyspark.mllib.util.MLUtils.loadLabeledPoints 的用法。

用法: static loadLabeledPoints(sc, path, minPartitions=None)

加載使用 RDD.saveAsTextFile 保存的標記點。

1.0.0 版中的新函數。

參數：

sc：SparkContext: Spark上下文
path：str: 任何 Hadoop-supported 文件係統 URI 中的文件或目錄路徑
minPartitions：整數，可選: 最小分區數

pyspark.RDD: 標記數據存儲為 LabeledPoint 的 RDD

例子：

>>> from tempfile import NamedTemporaryFile
>>> from pyspark.mllib.util import MLUtils
>>> from pyspark.mllib.regression import LabeledPoint
>>> examples = [LabeledPoint(1.1, Vectors.sparse(3, [(0, -1.23), (2, 4.56e-7)])),
...             LabeledPoint(0.0, Vectors.dense([1.01, 2.02, 3.03]))]
>>> tempFile = NamedTemporaryFile(delete=True)
>>> tempFile.close()
>>> sc.parallelize(examples, 1).saveAsTextFile(tempFile.name)
>>> MLUtils.loadLabeledPoints(sc, tempFile.name).collect()
[LabeledPoint(1.1, (3,[0,2],[-1.23,4.56e-07])), LabeledPoint(0.0, [1.01,2.02,3.03])]

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.mllib.util.MLUtils.loadLabeledPoints。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：