当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark vector_to_array用法及代码示例


本文简要介绍 pyspark.ml.functions.vector_to_array 的用法。

用法:

pyspark.ml.functions.vector_to_array(col, dtype='float64')

将一列 MLlib 稀疏/密集向量转换为一列密集数组。

3.0.0 版中的新函数。

参数

col pyspark.sql.Column 或 str

输入栏

dtypestr,可选

输出数组的数据类型。有效值:“float64” 或 “float32”。

返回

Column

密集数组的转换列。

例子

>>> from pyspark.ml.linalg import Vectors
>>> from pyspark.ml.functions import vector_to_array
>>> from pyspark.mllib.linalg import Vectors as OldVectors
>>> df = spark.createDataFrame([
...     (Vectors.dense(1.0, 2.0, 3.0), OldVectors.dense(10.0, 20.0, 30.0)),
...     (Vectors.sparse(3, [(0, 2.0), (2, 3.0)]),
...      OldVectors.sparse(3, [(0, 20.0), (2, 30.0)]))],
...     ["vec", "oldVec"])
>>> df1 = df.select(vector_to_array("vec").alias("vec"),
...                 vector_to_array("oldVec").alias("oldVec"))
>>> df1.collect()
[Row(vec=[1.0, 2.0, 3.0], oldVec=[10.0, 20.0, 30.0]),
 Row(vec=[2.0, 0.0, 3.0], oldVec=[20.0, 0.0, 30.0])]
>>> df2 = df.select(vector_to_array("vec", "float32").alias("vec"),
...                 vector_to_array("oldVec", "float32").alias("oldVec"))
>>> df2.collect()
[Row(vec=[1.0, 2.0, 3.0], oldVec=[10.0, 20.0, 30.0]),
 Row(vec=[2.0, 0.0, 3.0], oldVec=[20.0, 0.0, 30.0])]
>>> df1.schema.fields
[StructField(vec,ArrayType(DoubleType,false),false),
StructField(oldVec,ArrayType(DoubleType,false),false)]
>>> df2.schema.fields
[StructField(vec,ArrayType(FloatType,false),false),
StructField(oldVec,ArrayType(FloatType,false),false)]

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.ml.functions.vector_to_array。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。