Python PySpark SQL Functions min方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30]], ["name", "age"])
df.show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
+----+---+

获取 PySpark 列的最小值

要获得最小值age：

import pyspark.sql.functions as F
df.select(F.min("age")).show()



+--------+
|min(age)|
+--------+
|      25|
+--------+

要获取整数形式的最小值：

list_rows = df.select(F.min("age")).collect()
list_rows[0][0]



25

请注意以下事项：

• collect() 方法将 select(~) 返回的 PySpark DataFrame 转换为 Row 对象列表。

• 当我们应用 min(~) 方法时，该列表的长度始终为 1。

• 可以使用 [0] 访问 Row 对象的内容。

获取PySpark中每组的最小值

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 20, "A"],\
                            ["Bob", 30, "B"],\
                            ["Cathy", 50, "A"]],
                            ["name", "age", "class"])
df.show()



+-----+---+-----+
| name|age|class|
+-----+---+-----+
| Alex| 20|    A|
|  Bob| 30|    B|
|Cathy| 50|    A|
+-----+---+-----+

要获得每个 class 的最小 age：

df.groupby("class").agg(F.min("age").alias("MIN AGE")).show()



+-----+-------+
|class|MIN AGE|
+-----+-------+
|    A|     20|
|    B|     30|
+-----+-------+

此处，alias(~) 方法用于为聚合的 age 列分配标签。