Python PySpark DataFrame transform方法用法及代码示例

PySpark DataFrame 的 transform(~) 方法在调用此方法的 DataFrame 上应用函数，并返回新的 PySpark DataFrame。

参数

1. func | function

调用 transform(~) 方法的 PySpark DataFrame。

返回值

PySpark 数据帧。

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
+----+---+

按 PySpark DataFrame 中的标签按升序对列进行排序

要获取新的 PySpark DataFrame，其中列按升序排序：

def sort_columns(df_input):
 return df_input.select(*sorted(df_input.columns))
df.transform(sort_columns).show()



+---+----+
|age|name|
+---+----+
| 25|Alex|
| 30| Bob|
+---+----+

此处，* 将列标签列表转换为 select(~) 方法的位置参数。

相关用法

注：本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark DataFrame | transform method。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。