Python pyspark DataFrame.sameSemantics用法及代碼示例

本文簡要介紹 pyspark.sql.DataFrame.sameSemantics 的用法。

用法: DataFrame.sameSemantics(other)

當兩個 DataFrame 中的邏輯查詢計劃相等並因此返回相同的結果時，返回 True。

版本 3.1.0 中的新函數。

注意：

通過容忍屬性名稱等外觀差異，簡化了此處的相等比較。

此 API 可以非常快速地比較兩個 DataFrame ，但仍然可以在返回相同結果的 DataFrame 上返回 False，例如，來自不同計劃的結果。當緩存作為示例時，這種假否定語義可能很有用。

此 API 是開發人員 API。

例子：

>>> df1 = spark.range(10)
>>> df2 = spark.range(10)
>>> df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col1", df2.id * 2))
True
>>> df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col1", df2.id + 2))
False
>>> df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col0", df2.id * 2))
True

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrame.sameSemantics。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。