Python PySpark SQL Functions max方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
+----+---+

獲取 PySpark 列的最大值

要獲得最大age：

import pyspark.sql.functions as F
df.select(F.max("age")).show()



+--------+
|max(age)|
+--------+
|      30|
+--------+

要獲取整數形式的最大age：

list_rows = df.select(F.max("age")).collect()
list_rows[0][0]



30

此處， collect() 方法返回 Row 對象的列表，在本例中長度為 1，因為 select(~) 返回的 PySpark DataFrame 隻有一行。 Row 對象的內容可以通過 [0] 訪問。

獲取PySpark中每組的最大值

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20, "A"],\
                            ["Bob", 30, "B"],\
                            ["Cathy", 50, "A"]],
                            ["name", "age", "class"])
df.show()



+-----+---+-----+
| name|age|class|
+-----+---+-----+
| Alex| 20|    A|
|  Bob| 30|    B|
|Cathy| 50|    A|
+-----+---+-----+

要獲取每個 class 的最大值 age：

df.groupby("class").agg(F.max("age").alias("MAX AGE")).show()



+-----+-------+
|class|MAX AGE|
+-----+-------+
|    A|     50|
|    B|     30|
+-----+-------+

在這裏，我們使用 alias(~) 方法為聚合的 age 列分配標簽。