Python PySpark SQL Functions concat_ws方法用法及代碼示例

PySpark SQL 函數的concat_ws(~) 方法使用指定的分隔符將string-typed 列連接成單個列。

參數

1. sep | string

連接列時使用的分隔符。

2. *cols | Column 對象

要連接的基於字符串的列。如果列的類型不是字符串，則將執行自動轉換。如果轉換失敗，則會拋出錯誤。

返回值

PySpark SQL Column 對象 ( pyspark.sql.column.Column )。

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([("a", "b"), ("c", "d"), ("e", "f")], ["ONE", "TWO"])
df.show()



+---+---+
|ONE|TWO|
+---+---+
|  a|  b|
|  c|  d|
|  e|  f|
+---+---+

連接 PySpark 中的多個字符串列

要創建一個組合了兩個 string-typed 列的新 PySpark DataFrame：

import pyspark.sql.functions as F
df.select(F.concat_ws("-", df.ONE, df.TWO).alias("NEW")).show()



+---+
|NEW|
+---+
|a-b|
|c-d|
|e-f|
+---+

在這裏，我們使用 Column 對象的 alias(~) 函數來提供新組合列的名稱。

請注意，我們可以一次組合兩列以上：

df.select(F.concat_ws("-", df.ONE, df.TWO, df.ONE).alias("NEW")).show()



+-----+
|  NEW|
+-----+
|a-b-a|
|c-d-c|
|e-f-e|
+-----+

相關用法

注：本文由純淨天空篩選整理自Isshin Inada大神的英文原創作品 PySpark SQL Functions | concat_ws method。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。