Python PySpark SQL Functions date_format方法用法及代碼示例

例子

格式化 PySpark DataFrame 中的日期字符串

考慮以下帶有一些日期字符串的 PySpark DataFrame：

df = spark.createDataFrame([["Alex", "1995-12-16"], ["Bob", "1998-05-06"]], ["name", "birthday"])
df.show()



+----+----------+
|name|  birthday|
+----+----------+
|Alex|1995-12-16|
| Bob|1998-05-06|
+----+----------+

要轉換列 birthday 中的日期字符串：

from pyspark.sql import functions as F
df.select(F.date_format("birthday", "dd/MM/yyyy").alias("birthday_new")).show()



+------------+
|birthday_new|
+------------+
|  16/12/1995|
|  06/05/1998|
+------------+

這裏，：

• "dd/MM/yyyy" 表示以日、月、年開頭的日期字符串。

• alias(~) 用於為 date_format(~) 返回的 Column 對象命名。

格式化 PySpark DataFrame 中的日期時間值

考慮以下帶有一些日期時間值的 PySpark DataFrame：

import datetime
df = spark.createDataFrame([["Alex", datetime.date(1995,12,16)], ["Bob", datetime.date(1995,5,9)]], ["name", "birthday"])
df.show()



+----+----------+
|name|  birthday|
+----+----------+
|Alex|1995-12-16|
| Bob|1995-05-09|
+----+----------+

要轉換列 birthday 中的日期時間值：

df.select(F.date_format("birthday", "dd-MM-yyyy").alias("birthday_new")).show()



+------------+
|birthday_new|
+------------+
|  16-12-1995|
|  06-05-1998|
+------------+

在這裏，我們使用日期格式 "dd-MM-yyyy" ，這意味著先是日，然後是月，然後是年。我們還將列名 "birthday_new" 分配給 date_format() 返回的 Column 。