Python PySpark DataFrame unionByName方法用法及代碼示例

例子

通過對齊列垂直連接 PySpark DataFrame

考慮以下PySpark DataFrame：

df1 = spark.createDataFrame([[1, 2, 3]], ["A", "B", "C"])
df1.show()



+---+---+---+
|  A|  B|  C|
+---+---+---+
|  1|  2|  3|
+---+---+---+

這是另一個PySpark DataFrame：

df2 = spark.createDataFrame([[4, 5, 6], [7, 8, 9]], ["A", "B", "C"])
df2.show()



+---+---+---+
|  A|  B|  C|
+---+---+---+
|  4|  5|  6|
|  7|  8|  9|
+---+---+---+

要通過對齊列來垂直連接這兩個DataFrames：

df1.unionByName(df2).show()



+---+---+---+
|  A|  B|  C|
+---+---+---+
|  1|  2|  3|
|  4|  5|  6|
|  7|  8|  9|
+---+---+---+

處理列標簽不匹配的情況

默認情況下， allowMissingColumns=False ，這意味著如果兩個 DataFrames 沒有完全匹配的列標簽，則會拋出錯誤。

例如，考慮以下PySpark DataFrame：

df1 = spark.createDataFrame([[1, 2, 3]], ["A", "B", "C"])
df1.show()



+---+---+---+
|  A|  B|  C|
+---+---+---+
|  1|  2|  3|
+---+---+---+

這是其他 PySpark DataFrame，其列標簽略有不同：

df2 = spark.createDataFrame([[4, 5, 6], [7, 8, 9]], ["B", "C", "D"])
df2.show()



+---+---+---+
|  B|  C|  D|
+---+---+---+
|  4|  5|  6|
|  7|  8|  9|
+---+---+---+

由於列標簽不匹配，調用 unionByName(~) 將導致錯誤：

df1.unionByName(df2).show()   # allowMissingColumns=False



AnalysisException: Cannot resolve column name "A" among (B, C, D)

要允許未對齊的列，請設置 allowMissingColumns=True ：

df1.unionByName(df2, allowMissingColumns=True).show()



+----+---+---+----+
|   A|  B|  C|   D|
+----+---+---+----+
|   1|  2|  3|null|
|null|  4|  5|   6|
|null|  7|  8|   9|
+----+---+---+----+

請注意我們如何為未對齊的列獲取 null 值。