Python PySpark Column isin方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
| Bob| 30|
+----+---+

獲取 PySpark DataFrame 中的值列表中包含值的行

要獲取 name 列的值為 "Cathy" 或 "Alex" 的行：

from pyspark.sql import functions as F
df.filter(F.col("name").isin("Cathy", "Alex")).show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+

這裏，F.col("name").isin("Cathy","Alex") 返回布爾值的 Column 對象：

from pyspark.sql import functions as F
df.select(F.col("name").isin("Cathy", "Alex")).show()



+-----------------------+
|(name IN (Cathy, Alex))|
+-----------------------+
|                   true|
|                  false|
+-----------------------+

filter(~) 方法獲取與 True 對應的行。

請注意，如果您有值列表，請使用 * 運算符將該列表轉換為位置參數：

from pyspark.sql import functions as F
my_list = ["Cathy", "Alex"]
df.filter(F.col("name").isin(*my_list)).show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+