Python PySpark DataFrame intersect方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([("Alex", 20), ("Bob", 30), ("Cathy", 40)], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

考虑另一个PySpark DataFrame：

df_other = spark.createDataFrame([("Alex", 20), ("Doge", 30), ("eric", 40)], ["name", "age"])
df_other.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
|Doge| 30|
|eric| 40|
+----+---+

获取存在于另一个 PySpark DataFrame 中的 PySpark DataFrame 行

要获取另一个 PySpark DataFrame 中存在的 PySpark DataFrame 行，请使用 intersect(~) 方法，如下所示：

df_intersect = df.intersect(df_other)
df_intersect.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+

在这里，我们得到这一行，因为两个 PySpark DataFrame 都包含这一行。