本文简要介绍
pyspark.sql.functions.map_zip_with
的用法。用法:
pyspark.sql.functions.map_zip_with(col1, col2, f)
使用函数将两个给定的Mapkey-wise 合并到一个Map中。
版本 3.1.0 中的新函数。
- col1:
Column
或 str 第一列或表达式的名称
- col2:
Column
或 str 第二列或表达式的名称
- f:函数
三元函数
(k: Column, v1: Column, v2: Column) -> Column...
可以使用Column
的方法,在pyspark.sql.functions
和 Scala 中定义的函数UserDefinedFunctions
。不支持 PythonUserDefinedFunctions
(SPARK-27052)。
- col1:
参数:
返回:
例子:
>>> df = spark.createDataFrame([ ... (1, {"IT": 24.0, "SALES": 12.00}, {"IT": 2.0, "SALES": 1.4})], ... ("id", "base", "ratio") ... ) >>> df.select(map_zip_with( ... "base", "ratio", lambda k, v1, v2: round(v1 * v2, 2)).alias("updated_data") ... ).show(truncate=False) +---------------------------+ |updated_data | +---------------------------+ |{SALES -> 16.8, IT -> 48.0}| +---------------------------+
相关用法
- Python pyspark map_from_arrays用法及代码示例
- Python pyspark map_filter用法及代码示例
- Python pyspark map_from_entries用法及代码示例
- Python pyspark map_values用法及代码示例
- Python pyspark map_entries用法及代码示例
- Python pyspark map_concat用法及代码示例
- Python pyspark map_keys用法及代码示例
- Python pyspark md5用法及代码示例
- Python pyspark melt用法及代码示例
- Python pyspark months用法及代码示例
- Python pyspark merge用法及代码示例
- Python pyspark month用法及代码示例
- Python pyspark months_between用法及代码示例
- Python pyspark monotonically_increasing_id用法及代码示例
- Python pyspark minute用法及代码示例
- Python pyspark create_map用法及代码示例
- Python pyspark date_add用法及代码示例
- Python pyspark DataFrame.to_latex用法及代码示例
- Python pyspark DataStreamReader.schema用法及代码示例
- Python pyspark MultiIndex.size用法及代码示例
- Python pyspark arrays_overlap用法及代码示例
- Python pyspark Series.asof用法及代码示例
- Python pyspark DataFrame.align用法及代码示例
- Python pyspark Index.is_monotonic_decreasing用法及代码示例
- Python pyspark IsotonicRegression用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.map_zip_with。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。