Python pyspark DataFrame.cumsum用法及代码示例

本文简要介绍 pyspark.pandas.DataFrame.cumsum 的用法。

用法: DataFrame.cumsum(skipna: bool = True) → FrameLike

返回 DataFrame 或系列轴上的累积和。

返回包含累积和的相同大小的 DataFrame 或系列。

注意

cumsum 的当前实现使用 Spark 的 Window 而不指定分区规范。这会导致将所有数据移动到单个机器中的单个分区中，并可能导致严重的性能下降。避免对非常大的数据集使用此方法。

>>> df = ps.DataFrame([[2.0, 1.0], [3.0, None], [1.0, 0.0]], columns=list('AB'))
>>> df
     A    B
0  2.0  1.0
1  3.0  NaN
2  1.0  0.0

默认情况下，遍历行并在每列中找到总和。

>>> df.cumsum()
     A    B
0  2.0  1.0
1  5.0  NaN
2  6.0  1.0

它在系列中的工作方式相同。

>>> df.A.cumsum()
0    2.0
1    5.0
2    6.0
Name: A, dtype: float64

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.DataFrame.cumsum。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。