Python PySpark SQL Functions greatest方法用法及代碼示例

PySpark SQL 函數的greatest(~) 方法返回指定列中每行的最大值。請注意，您必須指定兩列或更多列。

參數

1.*cols | string 或 Column

用於計算最大值的列。

返回值

PySpark 列 (pyspark.sql.column.Column)。

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 100, 200], ["Bob", 150, 50]], ["name", "salary", "bonus"])
df.show()



+----+------+-----+
|name|salary|bonus|
+----+------+-----+
|Alex|   100|  200|
| Bob|   150|   50|
+----+------+-----+

獲取 PySpark DataFrame 中每行的最大值

要獲取 salary 和 bonus 列中每行的最大值：

import pyspark.sql.functions as F
df.select(F.greatest("salary", "bonus")).show()



+-----------------------+
|greatest(salary, bonus)|
+-----------------------+
|                    200|
|                    150|
+-----------------------+

要將此列附加到現有的 PySpark DataFrame，請使用 withColumn(~) 方法：

import pyspark.sql.functions as F
df.withColumn("my_max", F.greatest("salary", "bonus")).show()



+----+------+-----+------+
|name|salary|bonus|my_max|
+----+------+-----+------+
|Alex|   100|  200|   200|
| Bob|   150|   50|   150|
+----+------+-----+------+

相關用法

注：本文由純淨天空篩選整理自Isshin Inada大神的英文原創作品 PySpark SQL Functions | greatest method。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。