Python pyspark DataFrame.itertuples用法及代碼示例

本文簡要介紹 pyspark.pandas.DataFrame.itertuples 的用法。

用法: DataFrame.itertuples(index: bool = True, name: Optional[str] = 'PandasOnSpark') → Iterator[Tuple]

將 DataFrame 行作為命名元組進行迭代。

參數：

index：布爾值，默認為真: 如果為 True，則返回索引作為元組的第一個元素。
name：str 或無，默認 “PandasOnSpark”: 返回的命名元組的名稱或 None 以返回常規元組。

迭代器: 用於迭代 DataFrame 中每一行的命名元組的對象，第一個字段可能是索引，後續字段是列值。

注意：

如果列名是無效的 Python 標識符、重複或以下劃線開頭，則列名將被重命名為位置名稱。在 python 版本 < 3.7 上，為 DataFrames 返回具有大量列 (>254) 的常規元組。

例子：

>>> df = ps.DataFrame({'num_legs': [4, 2], 'num_wings': [0, 2]},
...                   index=['dog', 'hawk'])
>>> df
      num_legs  num_wings
dog          4          0
hawk         2          2

>>> for row in df.itertuples():
...     print(row)
...
PandasOnSpark(Index='dog', num_legs=4, num_wings=0)
PandasOnSpark(Index='hawk', num_legs=2, num_wings=2)

通過將 index 參數設置為 False，我們可以將索引作為元組的第一個元素刪除：

>>> for row in df.itertuples(index=False):
...     print(row)
...
PandasOnSpark(num_legs=4, num_wings=0)
PandasOnSpark(num_legs=2, num_wings=2)

使用name 參數集，我們為產生的命名元組設置自定義名稱：

>>> for row in df.itertuples(name='Animal'):
...     print(row)
...
Animal(Index='dog', num_legs=4, num_wings=0)
Animal(Index='hawk', num_legs=2, num_wings=2)

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.itertuples。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

注意：

例子：