PySpark DataFrame 的 intersect(~)
方法返回一个新的 PySpark DataFrame,其中包含另一个 PySpark DataFrame 中存在的行。请注意,与 intersectAll(~)
不同,intersect(~)
仅包含一次重复行。
注意
intersect(~)
方法相当于 SQL 中的INTERSECT
语句。
参数
1.other
| PySpark 数据帧
与之执行交集的另一个PySpark DataFrame。
返回值
一个新的 PySpark 数据帧。
例子
考虑以下PySpark DataFrame:
df = spark.createDataFrame([("Alex", 20), ("Bob", 30), ("Cathy", 40)], ["name", "age"])
df.show()
+-----+---+
| name|age|
+-----+---+
| Alex| 20|
| Bob| 30|
|Cathy| 40|
+-----+---+
考虑另一个PySpark DataFrame:
df_other = spark.createDataFrame([("Alex", 20), ("Doge", 30), ("eric", 40)], ["name", "age"])
df_other.show()
+----+---+
|name|age|
+----+---+
|Alex| 20|
|Doge| 30|
|eric| 40|
+----+---+
获取存在于另一个 PySpark DataFrame 中的 PySpark DataFrame 行
要获取另一个 PySpark DataFrame 中存在的 PySpark DataFrame 行,请使用 intersect(~)
方法,如下所示:
df_intersect = df.intersect(df_other)
df_intersect.show()
+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+
在这里,我们得到这一行,因为两个 PySpark DataFrame 都包含这一行。
相关用法
- Python PySpark DataFrame intersectAll方法用法及代码示例
- Python Pandas DataFrame interpolate方法用法及代码示例
- Python Pandas DataFrame insert方法用法及代码示例
- Python Pandas DataFrame infer_objects方法用法及代码示例
- Python Pandas DataFrame index属性用法及代码示例
- Python Pandas DataFrame info方法用法及代码示例
- Python Pandas DataFrame items方法用法及代码示例
- Python Pandas DataFrame isin方法用法及代码示例
- Python Pandas DataFrame idxmin方法用法及代码示例
- Python Pandas DataFrame iloc属性用法及代码示例
- Python Pandas DataFrame idxmax方法用法及代码示例
- Python Pandas DataFrame iteritems方法用法及代码示例
- Python Pandas DataFrame isna方法用法及代码示例
- Python Pandas DataFrame iat属性用法及代码示例
- Python Pandas DataFrame itertuples方法用法及代码示例
- Python Pandas DataFrame iterrows方法用法及代码示例
- Python Pandas DataFrame isnull方法用法及代码示例
- Python Pandas DataFrame empty属性用法及代码示例
- Python Pandas DataFrame pop方法用法及代码示例
- Python Pandas DataFrame nsmallest方法用法及代码示例
- Python Pandas DataFrame sample方法用法及代码示例
- Python Pandas DataFrame max方法用法及代码示例
- Python Pandas DataFrame swaplevel方法用法及代码示例
- Python Pandas DataFrame agg方法用法及代码示例
- Python Pandas DataFrame copy方法用法及代码示例
注:本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark DataFrame | intersect method。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。