當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python pyspark DataFrame.cumprod用法及代碼示例


本文簡要介紹 pyspark.pandas.DataFrame.cumprod 的用法。

用法:

DataFrame.cumprod(skipna: bool = True) → FrameLike

返回 DataFrame 或係列軸上的累積乘積。

返回包含累積乘積的相同大小的 DataFrame 或係列。

注意

cumprod 的當前實現使用 Spark 的 Window 而不指定分區規範。這會導致將所有數據移動到單個機器中的單個分區中，並可能導致嚴重的性能下降。避免對非常大的數據集使用此方法。

注意

與 pandas 不同，pandas-on-Spark's 通過exp(sum(log(...))) 技巧模擬累積乘積。因此，它僅適用於正數。

參數：

skipna：布爾值，默認 True

排除 NA/空值。如果整行/列為 NA，則結果將為 NA。

返回：

DataFrame 或係列

拋出：

Exception：如果值等於或小於 0。

例子：

>>> df = ps.DataFrame([[2.0, 1.0], [3.0, None], [4.0, 10.0]], columns=list('AB'))
>>> df
     A     B
0  2.0   1.0
1  3.0   NaN
2  4.0  10.0

默認情況下，遍曆行並在每列中找到總和。

>>> df.cumprod()
      A     B
0   2.0   1.0
1   6.0   NaN
2  24.0  10.0

它在係列中的工作方式相同。

>>> df.A.cumprod()
0     2.0
1     6.0
2    24.0
Name: A, dtype: float64

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.cumprod。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。