Python PySpark SQL Functions regexp_replace方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([['Alex', 10], ['Mile', 30]], ['name', 'age'])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 10|
|Mile| 30|
+----+---+

替換特定子字符串

要將子字符串 'le' 替換為 'LE' ，請使用 regexp_replace(~) ：

from pyspark.sql import functions as F
# Use an alias to assign a new name to the returned column
df.select(F.regexp_replace('name', 'le', 'LE').alias('new_name')).show()



+--------+
|new_name|
+--------+
|    ALEx|
|    MiLE|
+--------+

傳入 Column 對象

我們還可以傳入 Column 對象，而不是通過名稱引用列：

df.select(F.regexp_replace(df.name, 'le', 'LE').alias('new_name')).show()



+--------+
|new_name|
+--------+
|    ALEx|
|    MiLE|
+--------+

獲取新的PySpark DataFrame

我們可以使用 PySpark DataFrame 的 withColumn(~) 方法來獲取具有更新列的新 PySpark DataFrame，如下所示：

df.withColumn('name', F.regexp_replace("name", 'le', 'LE').alias('new_name')).show()



+----+---+
|name|age|
+----+---+
|ALEx| 10|
|MiLE| 30|
+----+---+

使用正則表達式替換特定子字符串

要將僅在末尾出現的子字符串 'le' 替換為 'LE' ，請使用 regexp_replace(~) ：

from pyspark.sql import functions as F
df.select(F.regexp_replace('name', 'le$', 'LE').alias('new_name')).show()



+--------+
|new_name|
+--------+
|    Alex|
|    MiLE|
+--------+

在這裏，我們使用特殊的正則表達式字符'$'，它僅匹配出現在字符串末尾的模式。這就是 Alex 中的 'le' 未進行替換的原因。