本文简要介绍
pyspark.sql.Column.over
的用法。用法:
Column.over(window)
定义一个窗口列。
1.4.0 版中的新函数。
- window:
WindowSpec
- window:
参数:
返回:
例子:
>>> from pyspark.sql import Window >>> window = Window.partitionBy("name").orderBy("age") .rowsBetween(Window.unboundedPreceding, Window.currentRow) >>> from pyspark.sql.functions import rank, min >>> from pyspark.sql.functions import desc >>> df.withColumn("rank", rank().over(window)) .withColumn("min", min('age').over(window)).sort(desc("age")).show() +---+-----+----+---+ |age| name|rank|min| +---+-----+----+---+ | 5| Bob| 1| 5| | 2|Alice| 1| 2| +---+-----+----+---+
相关用法
- Python pyspark Column.otherwise用法及代码示例
- Python pyspark Column.withField用法及代码示例
- Python pyspark Column.eqNullSafe用法及代码示例
- Python pyspark Column.desc_nulls_first用法及代码示例
- Python pyspark Column.rlike用法及代码示例
- Python pyspark Column.substr用法及代码示例
- Python pyspark Column.when用法及代码示例
- Python pyspark Column.isNotNull用法及代码示例
- Python pyspark Column.bitwiseAND用法及代码示例
- Python pyspark Column.isNull用法及代码示例
- Python pyspark Column.between用法及代码示例
- Python pyspark Column.contains用法及代码示例
- Python pyspark Column.cast用法及代码示例
- Python pyspark Column.like用法及代码示例
- Python pyspark Column.endswith用法及代码示例
- Python pyspark Column.asc_nulls_first用法及代码示例
- Python pyspark Column.getField用法及代码示例
- Python pyspark Column.isin用法及代码示例
- Python pyspark Column.dropFields用法及代码示例
- Python pyspark Column.bitwiseOR用法及代码示例
- Python pyspark Column.desc_nulls_last用法及代码示例
- Python pyspark Column.startswith用法及代码示例
- Python pyspark Column.bitwiseXOR用法及代码示例
- Python pyspark Column.asc_nulls_last用法及代码示例
- Python pyspark Column.desc用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.Column.over。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。