當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文


Python pyspark Column.over用法及代碼示例


本文簡要介紹 pyspark.sql.Column.over 的用法。

用法:

Column.over(window)

定義一個窗口列。

1.4.0 版中的新函數。

參數

windowWindowSpec

返回

Column

例子

>>> from pyspark.sql import Window
>>> window = Window.partitionBy("name").orderBy("age")                 .rowsBetween(Window.unboundedPreceding, Window.currentRow)
>>> from pyspark.sql.functions import rank, min
>>> from pyspark.sql.functions import desc
>>> df.withColumn("rank", rank().over(window))                 .withColumn("min", min('age').over(window)).sort(desc("age")).show()
+---+-----+----+---+
|age| name|rank|min|
+---+-----+----+---+
|  5|  Bob|   1|  5|
|  2|Alice|   1|  2|
+---+-----+----+---+

相關用法


注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.Column.over。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。