Python pyspark DataFrame.sameSemantics用法及代码示例

本文简要介绍 pyspark.sql.DataFrame.sameSemantics 的用法。

用法: DataFrame.sameSemantics(other)

当两个 DataFrame 中的逻辑查询计划相等并因此返回相同的结果时，返回 True。

版本 3.1.0 中的新函数。

注意：

通过容忍属性名称等外观差异，简化了此处的相等比较。

此 API 可以非常快速地比较两个 DataFrame ，但仍然可以在返回相同结果的 DataFrame 上返回 False，例如，来自不同计划的结果。当缓存作为示例时，这种假否定语义可能很有用。

此 API 是开发人员 API。

例子：

>>> df1 = spark.range(10)
>>> df2 = spark.range(10)
>>> df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col1", df2.id * 2))
True
>>> df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col1", df2.id + 2))
False
>>> df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col0", df2.id * 2))
True

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrame.sameSemantics。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。