Python PySpark DataFrame exceptAll方法用法及代码示例

PySpark DataFrame 的 exceptAll(~) 方法返回一个新的 DataFrame，该新的 DataFrame 存在于该 DataFrame 中，但不存在于其他 DataFrame 中。

参数

1. other | PySpark DataFrame

另一个PySpark 数据帧。

返回值

PySpark 数据帧。

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 30], ["Cathy", 40]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

假设另一个DataFrame是：

df_other = spark.createDataFrame([["Alex", 20], ["Bob", 35], ["Cathy", 40]], ["name", "age"])
df_other.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 35|
|Cathy| 40|
+-----+---+

获取 PySpark DataFrame 中不存在于另一个 PySpark DataFrame 中的所有行

要获取 df 中 df_other 中不存在的所有行：

df.exceptAll(df_other).show()



+----+---+
|name|age|
+----+---+
| Bob| 30|
+----+---+

相关用法

注：本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark DataFrame | exceptAll method。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。