Python pyspark Series.diff用法及代碼示例

本文簡要介紹 pyspark.pandas.Series.diff 的用法。

用法: Series.diff(periods: int = 1) → pyspark.pandas.series.Series

元素的第一個離散差。

計算Series元素與DataFrame中另一個元素的差異(默認為前一行同一列中的元素)。

注意

diff 的當前實現使用 Spark 的 Window 而不指定分區規範。這會導致將所有數據移動到單個機器中的單個分區中，並可能導致嚴重的性能下降。避免對非常大的數據集使用此方法。

參數：

periods：整數，默認 1: 用於計算差異的周期，接受負值。

diffed：Series

例子：

>>> df = ps.DataFrame({'a': [1, 2, 3, 4, 5, 6],
...                    'b': [1, 1, 2, 3, 5, 8],
...                    'c': [1, 4, 9, 16, 25, 36]}, columns=['a', 'b', 'c'])
>>> df
   a  b   c
0  1  1   1
1  2  1   4
2  3  2   9
3  4  3  16
4  5  5  25
5  6  8  36

>>> df.b.diff()
0    NaN
1    0.0
2    1.0
3    1.0
4    2.0
5    3.0
Name: b, dtype: float64

與先前值的差異

>>> df.c.diff(periods=3)
0     NaN
1     NaN
2     NaN
3    15.0
4    21.0
5    27.0
Name: c, dtype: float64

與以下值的差異

>>> df.c.diff(periods=-1)
0    -3.0
1    -5.0
2    -7.0
3    -9.0
4   -11.0
5     NaN
Name: c, dtype: float64

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.Series.diff。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：