Python PySpark DataFrame intersect方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([("Alex", 20), ("Bob", 30), ("Cathy", 40)], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

考慮另一個PySpark DataFrame：

df_other = spark.createDataFrame([("Alex", 20), ("Doge", 30), ("eric", 40)], ["name", "age"])
df_other.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
|Doge| 30|
|eric| 40|
+----+---+

獲取存在於另一個 PySpark DataFrame 中的 PySpark DataFrame 行

要獲取另一個 PySpark DataFrame 中存在的 PySpark DataFrame 行，請使用 intersect(~) 方法，如下所示：

df_intersect = df.intersect(df_other)
df_intersect.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+

在這裏，我們得到這一行，因為兩個 PySpark DataFrame 都包含這一行。