Python pyspark transform_values用法及代码示例

本文简要介绍 pyspark.sql.functions.transform_values 的用法。

用法: pyspark.sql.functions.transform_values(col, f)

将一个函数应用于映射中的每个键值对，并返回一个映射，其中包含这些应用程序的结果作为对的新值。

版本 3.1.0 中的新函数。

参数：

col： Column 或 str: 列或表达式的名称
f：函数: 二进制函数 (k: Column, v: Column) -> Column... 可以使用 Column 的方法，在 pyspark.sql.functions 和 Scala 中定义的函数 UserDefinedFunctions 。不支持 Python UserDefinedFunctions (SPARK-27052)。

Column

例子：

>>> df = spark.createDataFrame([(1, {"IT": 10.0, "SALES": 2.0, "OPS": 24.0})], ("id", "data"))
>>> df.select(transform_values(
...     "data", lambda k, v: when(k.isin("IT", "OPS"), v + 10.0).otherwise(v)
... ).alias("new_data")).show(truncate=False)
+---------------------------------------+
|new_data                               |
+---------------------------------------+
|{OPS -> 34.0, IT -> 20.0, SALES -> 2.0}|
+---------------------------------------+

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.transform_values。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法:

参数：

返回：

例子：