Python PySpark Column contains方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 30], ["Cathy", 40]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

獲取 PySpark DataFrame 中包含子字符串的行

要獲取包含子字符串 "le" 的行：

from pyspark.sql import functions as F
df.filter(F.col("name").contains("le")).show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+

在這裏，F.col("name").contains("le") 返回一個包含布爾值的 Column 對象，其中 True 對應於包含子字符串 "le" 的字符串：

df.select(F.col("name").contains("le")).show()



+------------------+
|contains(name, le)|
+------------------+
|              true|
|             false|
|             false|
+------------------+

在我們的解決方案中，我們使用 filter(~) 方法來提取與 True 對應的行。