Python PySpark SQL Functions expr方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([['Alex',30],['Bob',50]], ['name','age'])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 30|
| Bob| 50|
+----+---+

使用 expr 方法將列值轉換為大寫

expr(~) 方法接受 SQL 表達式作為參數，因此我們可以使用 SQL 函數，例如 upper(~) ：

import pyspark.sql.functions as F
df.select(F.expr('upper(name)')).show()



+-----------+
|upper(name)|
+-----------+
|       ALEX|
|        BOB|
+-----------+

df.selectExpr('upper(name)').show()



+-----------+
|upper(name)|
+-----------+
|       ALEX|
|        BOB|
+-----------+

使用expr方法解析複雜的SQL表達式

下麵是使用 AND 和 LIKE 等子句的更複雜的 SQL 表達式：

df.select(F.expr('age > 40 AND name LIKE "B%"').alias('result')).show()



+------+
|result|
+------+
| false|
|  true|
+------+

請注意以下事項：

• 我們正在檢查 age 大於 40 且 name 以 B 開頭的行。

• 我們使用 alias(~) 方法將標簽 'result' 分配給 expr(~) 返回的 Column。

expr方法返回的布爾掩碼的實際應用

正如我們在上麵的示例中看到的，expr(~) 方法可以根據您提供的 SQL 表達式返回布爾掩碼：

df.select(F.expr('age > 40 AND name LIKE "B%"').alias('result')).show()



+------+
|result|
+------+
| false|
|  true|
+------+

這允許我們使用 any(~) 檢查是否存在滿足給定條件的行：

df.select(F.expr('any(age > 40 AND name LIKE "B%")').alias('exists?')).show()



+-------+
|exists?|
+-------+
|   true|
+-------+

在這裏，我們得到True，因為布爾掩碼中至少存在一個True值。

使用 expr 方法映射列值

我們可以在 expr(~) 方法中使用 CASE WHEN 映射列值，如下所示：

col = F.expr('CASE WHEN age < 40 THEN "JUNIOR" ELSE "SENIOR" END').alias('result')
df.withColumn('status', col).show()



+----+---+------+
|name|age|status|
+----+---+------+
|Alex| 30|JUNIOR|
| Bob| 50|SENIOR|
+----+---+------+

在此，請注意以下事項：

• 我們正在使用 DataFrame 的 withColumn(~) 方法來獲取新的 PySpark DataFrame，其中包括 expr(~) 返回的列。