Python PySpark Column rlike方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
| Bob| 30|
+----+---+

获取值与 PySpark DataFrame 中的某些正则表达式匹配的行

要获取值与某些正则表达式匹配的行：

from pyspark.sql import functions as F
df.filter(F.col("name").rlike("^A")).show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+

此处，正则表达式 "^A" 匹配以 "A" 开头的字符串。另外，F.col("name").rlike("^A") 返回布尔值的 Column 对象：

from pyspark.sql import functions as F
df.select(F.col("name").rlike("^A")).show()



+---------------+
|RLIKE(name, ^A)|
+---------------+
|           true|
|          false|
+---------------+

在我们的解决方案中，我们使用 filter(~) 方法仅获取与 True 对应的行。