Python PySpark SQL Functions length方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20], ["Bob", 30], ["Cathy", 40]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

计算PySpark中列字符串的长度

要计算 name 列的每个值的长度，请使用 length(~) 方法：

import pyspark.sql.functions as F
df.select(F.length("name")).show()



+------------+
|length(name)|
+------------+
|           4|
|           3|
|           5|
+------------+

我们还可以传入 Column 对象而不是列标签，如下所示：

# df.select(F.length(df.name)).show()
df.select(F.length(F.col("name"))).show()



+------------+
|length(name)|
+------------+
|           4|
|           3|
|           5|
+------------+

请注意，我们可以使用 withColumn(~) 附加一个包含字符串长度的新列：

df_new = df.withColumn("name_length", F.length("name"))
df_new.show()



+-----+---+-----------+
| name|age|name_length|
+-----+---+-----------+
| Alex| 20|          4|
|  Bob| 30|          3|
|Cathy| 40|          5|
+-----+---+-----------+