Python pyspark DataFrame.transform用法及代碼示例

本文簡要介紹 pyspark.sql.DataFrame.transform 的用法。

用法: DataFrame.transform(func)

返回一個新的 DataFrame 。用於鏈接自定義轉換的簡潔語法。

3.0.0 版中的新函數。

參數：

func：函數: 一個接受並返回 DataFrame 的函數。

例子：

>>> from pyspark.sql.functions import col
>>> df = spark.createDataFrame([(1, 1.0), (2, 2.0)], ["int", "float"])
>>> def cast_all_to_int(input_df):
...     return input_df.select([col(col_name).cast("int") for col_name in input_df.columns])
>>> def sort_columns_asc(input_df):
...     return input_df.select(*sorted(input_df.columns))
>>> df.transform(cast_all_to_int).transform(sort_columns_asc).show()
+-----+---+
|float|int|
+-----+---+
|    1|  1|
|    2|  2|
+-----+---+

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrame.transform。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。