Python PySpark SQL Functions regexp_extract方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([['id_20_30', 10], ['id_40_50', 30]], ['id', 'age'])
df.show()



+--------+---+
|      id|age|
+--------+---+
|id_20_30| 10|
|id_40_50| 30|
+--------+---+

提取特定子串

要提取每個 id 值中的第一個數字，請使用 regexp_extract(~)，如下所示：

from pyspark.sql import functions as F
df.select(F.regexp_extract('id', '(\d+)', 1)).show()



+----------------------------+
|regexp_extract(id, (\d+), 1)|
+----------------------------+
|                          20|
|                          40|
+----------------------------+

此處，正則表達式 (\d+) 匹配一位或多位數字(在本例中為 20 和 40)。我們將第三個參數值設置為1，以表明我們有興趣提取第一個匹配的組 - 當我們捕獲多個組時，此參數很有用。

提取n-th捕獲的子字符串

我們可以對 regexp_extract(~) 使用多個 (~) 捕獲組，如下所示：

from pyspark.sql import functions as F
df.select(F.regexp_extract('id', '(\d+)_(\d+)', 2)).show()



+----------------------------------+
|regexp_extract(id, (\d+)_(\d+), 2)|
+----------------------------------+
|                                30|
|                                50|
+----------------------------------+

在這裏，我們將第三個參數值設置為2，以表明我們有興趣提取第二組捕獲的值。