Python PySpark SQL Functions max方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
+----+---+

获取 PySpark 列的最大值

要获得最大age：

import pyspark.sql.functions as F
df.select(F.max("age")).show()



+--------+
|max(age)|
+--------+
|      30|
+--------+

要获取整数形式的最大age：

list_rows = df.select(F.max("age")).collect()
list_rows[0][0]



30

此处， collect() 方法返回 Row 对象的列表，在本例中长度为 1，因为 select(~) 返回的 PySpark DataFrame 只有一行。 Row 对象的内容可以通过 [0] 访问。

获取PySpark中每组的最大值

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20, "A"],\
                            ["Bob", 30, "B"],\
                            ["Cathy", 50, "A"]],
                            ["name", "age", "class"])
df.show()



+-----+---+-----+
| name|age|class|
+-----+---+-----+
| Alex| 20|    A|
|  Bob| 30|    B|
|Cathy| 50|    A|
+-----+---+-----+

要获取每个 class 的最大值 age：

df.groupby("class").agg(F.max("age").alias("MAX AGE")).show()



+-----+-------+
|class|MAX AGE|
+-----+-------+
|    A|     50|
|    B|     30|
+-----+-------+

在这里，我们使用 alias(~) 方法为聚合的 age 列分配标签。