Python pyspark DataFrame.transform用法及代码示例

本文简要介绍 pyspark.sql.DataFrame.transform 的用法。

用法: DataFrame.transform(func)

返回一个新的 DataFrame 。用于链接自定义转换的简洁语法。

3.0.0 版中的新函数。

参数：

func：函数: 一个接受并返回 DataFrame 的函数。

例子：

>>> from pyspark.sql.functions import col
>>> df = spark.createDataFrame([(1, 1.0), (2, 2.0)], ["int", "float"])
>>> def cast_all_to_int(input_df):
...     return input_df.select([col(col_name).cast("int") for col_name in input_df.columns])
>>> def sort_columns_asc(input_df):
...     return input_df.select(*sorted(input_df.columns))
>>> df.transform(cast_all_to_int).transform(sort_columns_asc).show()
+-----+---+
|float|int|
+-----+---+
|    1|  1|
|    2|  2|
+-----+---+

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrame.transform。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。