本文簡要介紹
pyspark.sql.Column.over
的用法。用法:
Column.over(window)
定義一個窗口列。
1.4.0 版中的新函數。
- window:
WindowSpec
- window:
參數:
返回:
例子:
>>> from pyspark.sql import Window >>> window = Window.partitionBy("name").orderBy("age") .rowsBetween(Window.unboundedPreceding, Window.currentRow) >>> from pyspark.sql.functions import rank, min >>> from pyspark.sql.functions import desc >>> df.withColumn("rank", rank().over(window)) .withColumn("min", min('age').over(window)).sort(desc("age")).show() +---+-----+----+---+ |age| name|rank|min| +---+-----+----+---+ | 5| Bob| 1| 5| | 2|Alice| 1| 2| +---+-----+----+---+
相關用法
- Python pyspark Column.otherwise用法及代碼示例
- Python pyspark Column.withField用法及代碼示例
- Python pyspark Column.eqNullSafe用法及代碼示例
- Python pyspark Column.desc_nulls_first用法及代碼示例
- Python pyspark Column.rlike用法及代碼示例
- Python pyspark Column.substr用法及代碼示例
- Python pyspark Column.when用法及代碼示例
- Python pyspark Column.isNotNull用法及代碼示例
- Python pyspark Column.bitwiseAND用法及代碼示例
- Python pyspark Column.isNull用法及代碼示例
- Python pyspark Column.between用法及代碼示例
- Python pyspark Column.contains用法及代碼示例
- Python pyspark Column.cast用法及代碼示例
- Python pyspark Column.like用法及代碼示例
- Python pyspark Column.endswith用法及代碼示例
- Python pyspark Column.asc_nulls_first用法及代碼示例
- Python pyspark Column.getField用法及代碼示例
- Python pyspark Column.isin用法及代碼示例
- Python pyspark Column.dropFields用法及代碼示例
- Python pyspark Column.bitwiseOR用法及代碼示例
- Python pyspark Column.desc_nulls_last用法及代碼示例
- Python pyspark Column.startswith用法及代碼示例
- Python pyspark Column.bitwiseXOR用法及代碼示例
- Python pyspark Column.asc_nulls_last用法及代碼示例
- Python pyspark Column.desc用法及代碼示例
注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.Column.over。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。