Python PySpark DataFrame sort方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 30], ["Bob", 20], ["Cathy", 20]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 30|
|  Bob| 20|
|Cathy| 20|
+-----+---+

按單列升序對 PySpark DataFrame 進行排序

要按 age 列按升序對 PySpark DataFrame 進行排序：

df.sort("age").show()   # ascending=True



+-----+---+
| name|age|
+-----+---+
|Cathy| 20|
|  Bob| 20|
| Alex| 30|
+-----+---+

我們還可以使用sql.functions來引用該列：

import pyspark.sql.functions as F
df.sort(F.col("age")).show()



+-----+---+
| name|age|
+-----+---+
|Cathy| 20|
|  Bob| 20|
| Alex| 30|
+-----+---+

按單列降序對 PySpark DataFrame 進行排序

要按 age 列降序對 PySpark DataFrame 進行排序：

df.sort("age", ascending=False).show()



+-----+---+
| name|age|
+-----+---+
| Alex| 30|
|  Bob| 20|
|Cathy| 20|
+-----+---+

按多列對 PySpark DataFrame 進行排序

要首先按 age 列對 PySpark 數據幀進行排序，然後按 name 列進行升序排序：

df.sort(["age", "name"]).show()



+-----+---+
| name|age|
+-----+---+
|  Bob| 20|
|Cathy| 20|
| Alex| 30|
+-----+---+

此處，Bob 和 Cathy 出現在 Alex 之前，因為它們的年齡 ( 20 ) 較小。 Bob 然後出現在 Cathy 之前，因為 B 出現在 C 之前。

我們還可以傳遞布爾值列表來指定每列所需的順序：

df.sort(["age", "name"], ascending=[True, False]).show()



+-----+---+
| name|age|
+-----+---+
|Cathy| 20|
|  Bob| 20|
| Alex| 30|
+-----+---+

在這裏，我們首先按age升序排序，然後按name降序排序。