Python pyspark DataFrame.to_records用法及代碼示例

本文簡要介紹 pyspark.pandas.DataFrame.to_records 的用法。

用法: DataFrame.to_records(index: bool = True, column_dtypes: Union[str, numpy.dtype, pandas.core.dtypes.base.ExtensionDtype, Dict[Union[Any, Tuple[Any, …]], Union[str, numpy.dtype, pandas.core.dtypes.base.ExtensionDtype]], None] = None, index_dtypes: Union[str, numpy.dtype, pandas.core.dtypes.base.ExtensionDtype, Dict[Union[Any, Tuple[Any, …]], Union[str, numpy.dtype, pandas.core.dtypes.base.ExtensionDtype]], None] = None) → numpy.recarray

將 DataFrame 轉換為 NumPy 記錄數組。

如果請求，索引將作為記錄數組的第一個字段包含在內。

注意

僅當生成的 NumPy ndarray 預計很小時才應使用此方法，因為所有數據都加載到驅動程序的內存中。

參數：

index：布爾值，默認為真: 在結果記錄數組中包含索引，存儲在 ‘index’ 字段中或使用索引標簽(如果已設置)。
column_dtypes：str，類型，字典，默認無: 如果是字符串或類型，則存儲所有列的數據類型。如果是字典，則為列名和索引 (zero-indexed) 到特定數據類型的映射。
index_dtypes：str，類型，字典，默認無: 如果是字符串或類型，則存儲所有索引級別的數據類型。如果是字典，則索引級別名稱和索引 (zero-indexed) 到特定數據類型的映射。僅當 index=True 時才應用此映射。

numpy.recarray: NumPy ndarray，其中 DataFrame 標簽作為字段，DataFrame 的每一行作為條目。

例子：

>>> df = ps.DataFrame({'A': [1, 2], 'B': [0.5, 0.75]},
...                   index=['a', 'b'])
>>> df
   A     B
a  1  0.50
b  2  0.75

>>> df.to_records() 
rec.array([('a', 1, 0.5 ), ('b', 2, 0.75)],
          dtype=[('index', 'O'), ('A', '<i8'), ('B', '<f8')])

索引可以從記錄數組中排除：

>>> df.to_records(index=False) 
rec.array([(1, 0.5 ), (2, 0.75)],
          dtype=[('A', '<i8'), ('B', '<f8')])

列的 dtype 規範是 pandas 0.24.0 中的新內容。可以為列指定數據類型：

>>> df.to_records(column_dtypes={"A": "int32"}) 
rec.array([('a', 1, 0.5 ), ('b', 2, 0.75)],
          dtype=[('index', 'O'), ('A', '<i4'), ('B', '<f8')])

索引的 dtype 規範在 pandas 0.24.0 中是新的。也可以為索引指定數據類型：

>>> df.to_records(index_dtypes="<S2") 
rec.array([(b'a', 1, 0.5 ), (b'b', 2, 0.75)],
          dtype=[('index', 'S2'), ('A', '<i8'), ('B', '<f8')])

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.to_records。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：