Python PySpark SQL Functions split方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([("A#A",), ("B##B",), ("#C#C#C#",), (None,)], ["x",])
df.show()



+-------+
|      x|
+-------+
|    A#A|
|   B##B|
|#C#C#C#|
|   null|
+-------+

在 PySpark 列中按分隔符分割字符串

要将 x 列中的字符串拆分为 "#" ，请使用 split(~) 方法：

df.select(F.split("x", "#")).show()



+---------------+
|split(x, #, -1)|
+---------------+
|         [A, A]|
|       [B, , B]|
|  [, C, C, C, ]|
|           null|
+---------------+

在此，请注意以下事项：

• 第二个分隔符参数实际上被解析为正则表达式 - 我们稍后会看到一个例子。

• 拆分 null 会产生 null 。

我们还可以使用可选参数 limit 指定要执行的最大分割数：

df.select(F.split("x", "#", 2)).show()



+--------------+
|split(x, #, 2)|
+--------------+
|        [A, A]|
|       [B, #B]|
|    [, C#C#C#]|
|          null|
+--------------+

这里，包含分割标记的数组的长度最多为 2 。这就是为什么我们仍然在其中看到分隔符子字符串 "#" 的原因。

在 PySpark 列中使用正则表达式拆分字符串

考虑以下PySpark DataFrame：

df = spark.createDataFrame([("A#A",), ("B@B",), ("C#@C",)], ["x",])
df.show()



+----+
|   x|
+----+
| A#A|
| B@B|
|C#@C|
+----+

要按字符 # 或 @ 进行分割，我们可以使用正则表达式作为分隔符：

df.select(F.split("x", "[#@]")).show()



+------------------+
|split(x, [#@], -1)|
+------------------+
|            [A, A]|
|            [B, B]|
|          [C, , C]|
+------------------+

这里，正则表达式 [#@] 表示 # 或 @ 。