Python pyspark map_zip_with用法及代码示例

本文简要介绍 pyspark.sql.functions.map_zip_with 的用法。

用法: pyspark.sql.functions.map_zip_with(col1, col2, f)

使用函数将两个给定的Mapkey-wise 合并到一个Map中。

版本 3.1.0 中的新函数。

参数：

col1： Column 或 str: 第一列或表达式的名称
col2： Column 或 str: 第二列或表达式的名称
f：函数: 三元函数 (k: Column, v1: Column, v2: Column) -> Column... 可以使用 Column 的方法，在 pyspark.sql.functions 和 Scala 中定义的函数 UserDefinedFunctions 。不支持 Python UserDefinedFunctions (SPARK-27052)。

Column

例子：

>>> df = spark.createDataFrame([
...     (1, {"IT": 24.0, "SALES": 12.00}, {"IT": 2.0, "SALES": 1.4})],
...     ("id", "base", "ratio")
... )
>>> df.select(map_zip_with(
...     "base", "ratio", lambda k, v1, v2: round(v1 * v2, 2)).alias("updated_data")
... ).show(truncate=False)
+---------------------------+
|updated_data               |
+---------------------------+
|{SALES -> 16.8, IT -> 48.0}|
+---------------------------+

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.map_zip_with。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法:

参数：

返回：

例子：