Python pyspark DataFrame.pandas_on_spark.transform_batch用法及代碼示例

本文簡要介紹 pyspark.pandas.DataFrame.pandas_on_spark.transform_batch 的用法。

用法:
pandas_on_spark.transform_batch(func: Callable[[…], Union[pandas.core.frame.DataFrame, pandas.core.series.Series]], *args: Any, **kwargs: Any) → Union[DataFrame, Series]

使用采用 pandas DataFrame 並輸出 pandas DataFrame 的函數來轉換塊。提供給該函數的 pandas DataFrame 是內部使用的批處理。每個輸入和輸出的長度應該相同。

另見Transform and apply a function。

注意

func 無法訪問整個輸入幀。 pandas-on-Spark 在內部將輸入係列拆分為多個批次，並在每個批次中多次調用 func。因此，諸如全局聚合之類的操作是不可能的。請參見下麵的示例。

>>> # This case does not return the length of whole frame but of the batch internally
... # used.
... def length(pdf) -> ps.DataFrame[int]:
...     return pd.DataFrame([len(pdf)] * len(pdf))
...
>>> df = ps.DataFrame({'A': range(1000)})
>>> df.pandas_on_spark.transform_batch(length)  
    c0
0   83
1   83
2   83
...

注意

此 API 執行該函數一次以推斷可能昂貴的類型，例如，在聚合或排序後創建數據集時。

為避免這種情況，請在 func 中指定返回類型，例如，如下所示：

>>> def plus_one(x) -> ps.DataFrame[float, float]:
...     return x + 1

如果指定返回類型，則輸出列名稱變為 c0, c1, c2 … cn 。這些名稱按位置映射到 func 中返回的 DataFrame 。

要指定列名，您可以使用 pandas 友好的樣式指定它們，如下所示：

>>> def plus_one(x) -> ps.DataFrame['a': float, 'b': float]:
...     return x + 1

>>> pdf = pd.DataFrame({'a': [1, 2, 3], 'b': [3, 4, 5]})
>>> def plus_one(x) -> ps.DataFrame[zip(pdf.dtypes, pdf.columns)]:
...     return x + 1

當給定函數返回DataFrame並注釋了返回類型時，DataFrame的原始索引將丟失，然後將默認索引附加到結果中。請謹慎配置默認索引。另請參閱Default Index Type。

參數：

func：函數: 轉換每個 Pandas 幀的函數。
*args：: 要傳遞給 func 的位置參數。
**kwargs：: 要傳遞給 func 的關鍵字參數。

DataFrame 或係列

例子：

>>> df = ps.DataFrame([(1, 2), (3, 4), (5, 6)], columns=['A', 'B'])
>>> df
   A  B
0  1  2
1  3  4
2  5  6

>>> def plus_one_func(pdf) -> ps.DataFrame[int, int]:
...     return pdf + 1
>>> df.pandas_on_spark.transform_batch(plus_one_func)
   c0  c1
0   2   3
1   4   5
2   6   7

>>> def plus_one_func(pdf) -> ps.DataFrame['A': int, 'B': int]:
...     return pdf + 1
>>> df.pandas_on_spark.transform_batch(plus_one_func)
   A  B
0  2  3
1  4  5
2  6  7

>>> def plus_one_func(pdf) -> ps.Series[int]:
...     return pdf.B + 1
>>> df.pandas_on_spark.transform_batch(plus_one_func)
0    3
1    5
2    7
dtype: int64

您也可以省略類型提示，以便 pandas-on-Spark 推斷返回模式如下：

>>> df.pandas_on_spark.transform_batch(lambda pdf: pdf + 1)
   A  B
0  2  3
1  4  5
2  6  7

>>> (df * -1).pandas_on_spark.transform_batch(abs)
   A  B
0  1  2
1  3  4
2  5  6

請注意，您不應轉換索引。索引信息不會改變。

>>> df.pandas_on_spark.transform_batch(lambda pdf: pdf.B + 1)
0    3
1    5
2    7
Name: B, dtype: int64

您還可以指定額外的參數，如下所示。

>>> df.pandas_on_spark.transform_batch(lambda pdf, a, b, c: pdf.B + a + b + c, 1, 2, c=3)
0     8
1    10
2    12
Name: B, dtype: int64

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.pandas_on_spark.transform_batch。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：