Python PySpark Column endswith方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 30], ["Cathy", 40]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

获取 PySpark DataFrame 中以某个子字符串结尾的行

要获取以某个子字符串结尾的行：

from pyspark.sql import functions as F
df.filter(F.col("name").endswith("x")).show()



+----+---+
|name|age|
+----+---+
|Alex| 20|
+----+---+

此处，F.col("name").endswith("x") 返回布尔值的 Column 对象，其中 True 对应于以字母 x 结尾的值：

df.select(F.col("name").endswith("x")).show()



+-----------------+
|endswith(name, x)|
+-----------------+
|             true|
|            false|
|            false|
+-----------------+

然后，我们使用 PySpark DataFrame 的 filter(~) 方法来获取与 True 对应的行。