Python pyspark DataFrame.shift用法及代碼示例

本文簡要介紹 pyspark.pandas.DataFrame.shift 的用法。

用法: DataFrame.shift(periods: int = 1, fill_value: Optional[Any] = None) → pyspark.pandas.frame.DataFrame

將DataFrame移動所需的周期數。

注意

當前的 shift 實現使用 Spark 的 Window 而不指定分區規範。這會導致將所有數據移動到單個機器中的單個分區中，並可能導致嚴重的性能下降。避免對非常大的數據集使用此方法。

參數：

periods：int: 要轉移的周期數。可以是正麵的或負麵的。
fill_value：對象，可選: 用於新引入的缺失值的標量值。默認值取決於 self 的數據類型。對於數值數據，使用np.nan。

輸入 DataFrame 的副本，已移動。

例子：

>>> df = ps.DataFrame({'Col1': [10, 20, 15, 30, 45],
...                    'Col2': [13, 23, 18, 33, 48],
...                    'Col3': [17, 27, 22, 37, 52]},
...                   columns=['Col1', 'Col2', 'Col3'])

>>> df.shift(periods=3)
   Col1  Col2  Col3
0   NaN   NaN   NaN
1   NaN   NaN   NaN
2   NaN   NaN   NaN
3  10.0  13.0  17.0
4  20.0  23.0  27.0

>>> df.shift(periods=3, fill_value=0)
   Col1  Col2  Col3
0     0     0     0
1     0     0     0
2     0     0     0
3    10    13    17
4    20    23    27

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.shift。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：