Python pyspark Expanding.sum用法及代碼示例

本文簡要介紹 pyspark.pandas.window.Expanding.sum 的用法。

用法: Expanding.sum() → FrameLike

計算給定DataFrame或係列的擴展總和。

注意

此 API 的當前實現使用 Spark 的 Window 而不指定分區規範。這會導致將所有數據移動到單個機器中的單個分區中，並可能導致嚴重的性能下降。避免對非常大的數據集使用此方法。

>>> s = ps.Series([1, 2, 3, 4, 5])
>>> s
0    1
1    2
2    3
3    4
4    5
dtype: int64

>>> s.expanding(3).sum()
0     NaN
1     NaN
2     6.0
3    10.0
4    15.0
dtype: float64

對於 DataFrame，每個擴展總和都是按列計算的。

>>> df = ps.DataFrame({"A": s.to_numpy(), "B": s.to_numpy() ** 2})
>>> df
   A   B
0  1   1
1  2   4
2  3   9
3  4  16
4  5  25

>>> df.expanding(3).sum()
      A     B
0   NaN   NaN
1   NaN   NaN
2   6.0  14.0
3  10.0  30.0
4  15.0  55.0

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.window.Expanding.sum。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。