Python PySpark Column alias方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["ALEX", 20], ["BOB", 30], ["CATHY", 40]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| ALEX| 20|
|  BOB| 30|
|CATHY| 40|
+-----+---+

PySpark SQL Functions 庫中的大多數方法都會返回 Column 對象，其標簽由我們使用的方法控製。例如，考慮 lower(~) 方法：

df.select(F.lower("name")).show()



+-----------+
|lower(name)|
+-----------+
|       alex|
|        bob|
|      cathy|
+-----------+

此處， lower(~) 返回的PySpark 列默認具有標簽lower(name)。

使用別名方法將新標簽分配給PySpark列

我們可以使用 alias(~) 方法為列分配新標簽：

df.select(F.lower("name").alias("lower_name")).show()



+----------+
|lower_name|
+----------+
|      alex|
|       bob|
|     cathy|
+----------+

在這裏，我們將標簽 "lower_name" 分配給 lower(~) 返回的列。

將meta-data存儲在PySpark列的別名方法中

要將一些 meta-data 存儲在 PySpark 列中，我們可以在 alias(~) 中添加 metadata 選項：

df_new = df.select(F.lower("name").alias("lower_name", metadata={"some_data": 10}))
df_new.show()



+----------+
|lower_name|
+----------+
|      alex|
|       bob|
|     cathy|
+----------+

metadata 是一個字典，將存儲在Column 對象中。

要訪問 metadata ，我們可以使用 PySpark DataFrame 的 schema 屬性：

df_new.schema["lower_name"].metadata["some_data"]



10