当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python pyspark DataFrame.cumprod用法及代码示例


本文简要介绍 pyspark.pandas.DataFrame.cumprod 的用法。

用法:

DataFrame.cumprod(skipna: bool = True) → FrameLike

返回 DataFrame 或系列轴上的累积乘积。

返回包含累积乘积的相同大小的 DataFrame 或系列。

注意

cumprod 的当前实现使用 Spark 的 Window 而不指定分区规范。这会导致将所有数据移动到单个机器中的单个分区中，并可能导致严重的性能下降。避免对非常大的数据集使用此方法。

注意

与 pandas 不同，pandas-on-Spark's 通过exp(sum(log(...))) 技巧模拟累积乘积。因此，它仅适用于正数。

参数：

skipna：布尔值，默认 True

排除 NA/空值。如果整行/列为 NA，则结果将为 NA。

返回：

DataFrame 或系列

抛出：

Exception：如果值等于或小于 0。

例子：

>>> df = ps.DataFrame([[2.0, 1.0], [3.0, None], [4.0, 10.0]], columns=list('AB'))
>>> df
     A     B
0  2.0   1.0
1  3.0   NaN
2  4.0  10.0

默认情况下，遍历行并在每列中找到总和。

>>> df.cumprod()
      A     B
0   2.0   1.0
1   6.0   NaN
2  24.0  10.0

它在系列中的工作方式相同。

>>> df.A.cumprod()
0     2.0
1     6.0
2    24.0
Name: A, dtype: float64

相关用法


注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.DataFrame.cumprod。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。