Python pyspark Series.cumprod用法及代码示例

本文简要介绍 pyspark.pandas.Series.cumprod 的用法。

用法: Series.cumprod(skipna: bool = True) → FrameLike

返回 DataFrame 或系列轴上的累积乘积。

返回包含累积乘积的相同大小的 DataFrame 或系列。

注意

cumprod 的当前实现使用 Spark 的 Window 而不指定分区规范。这会导致将所有数据移动到单个机器中的单个分区中，并可能导致严重的性能下降。避免对非常大的数据集使用此方法。

注意

与 pandas 不同，pandas-on-Spark's 通过exp(sum(log(...))) 技巧模拟累积乘积。因此，它仅适用于正数。

>>> df = ps.DataFrame([[2.0, 1.0], [3.0, None], [4.0, 10.0]], columns=list('AB'))
>>> df
     A     B
0  2.0   1.0
1  3.0   NaN
2  4.0  10.0

默认情况下，遍历行并在每列中找到总和。

>>> df.cumprod()
      A     B
0   2.0   1.0
1   6.0   NaN
2  24.0  10.0

它在系列中的工作方式相同。

>>> df.A.cumprod()
0     2.0
1     6.0
2    24.0
Name: A, dtype: float64

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.Series.cumprod。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。