Python PySpark SQL Functions date_format方法用法及代码示例

例子

格式化 PySpark DataFrame 中的日期字符串

考虑以下带有一些日期字符串的 PySpark DataFrame：

df = spark.createDataFrame([["Alex", "1995-12-16"], ["Bob", "1998-05-06"]], ["name", "birthday"])
df.show()



+----+----------+
|name|  birthday|
+----+----------+
|Alex|1995-12-16|
| Bob|1998-05-06|
+----+----------+

要转换列 birthday 中的日期字符串：

from pyspark.sql import functions as F
df.select(F.date_format("birthday", "dd/MM/yyyy").alias("birthday_new")).show()



+------------+
|birthday_new|
+------------+
|  16/12/1995|
|  06/05/1998|
+------------+

这里，：

• "dd/MM/yyyy" 表示以日、月、年开头的日期字符串。

• alias(~) 用于为 date_format(~) 返回的 Column 对象命名。

格式化 PySpark DataFrame 中的日期时间值

考虑以下带有一些日期时间值的 PySpark DataFrame：

import datetime
df = spark.createDataFrame([["Alex", datetime.date(1995,12,16)], ["Bob", datetime.date(1995,5,9)]], ["name", "birthday"])
df.show()



+----+----------+
|name|  birthday|
+----+----------+
|Alex|1995-12-16|
| Bob|1995-05-09|
+----+----------+

要转换列 birthday 中的日期时间值：

df.select(F.date_format("birthday", "dd-MM-yyyy").alias("birthday_new")).show()



+------------+
|birthday_new|
+------------+
|  16-12-1995|
|  06-05-1998|
+------------+

在这里，我们使用日期格式 "dd-MM-yyyy" ，这意味着先是日，然后是月，然后是年。我们还将列名 "birthday_new" 分配给 date_format() 返回的 Column 。