Python PyTorch DataFrameMaker用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.DataFrameMaker 的用法。

用法:

class torchdata.datapipes.iter.DataFrameMaker(source_dp: IterDataPipe[torchdata.datapipes.iter.util.dataframemaker.T_co], dataframe_size: int = 1000, dtype=None, columns: Optional[List[str]] = None, device: str = '')

參數：

• source_dp-IterDataPipe 包含數據行

• dataframe_size-每個 DataFrame 中的數據行數，可以選擇頁麵大小

• dtype-為 DataFrame 指定 TorchArrow dtype，使用 torcharrow.dtypes.DType

• columns-指定 DataFrame 的列名稱的 str 列表

• device-指定將存儲DataFrame的設備

獲取多行數據，將其中的一些數據批處理在一起並創建 TorchArrow DataFrames (函數名稱： dataframe )。

注意

DataFrame 中包含大量行和內存使用之間存在權衡。請仔細選擇一個值。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> import torcharrow.dtypes as dt
>>> source_data = [(i,) for i in range(3)]
>>> source_dp = IterableWrapper(source_data)
>>> DTYPE = dt.Struct([dt.Field("Values", dt.int32)])
>>> df_dp = source_dp.dataframe(dtype=DTYPE)
>>> list(df_dp)[0]
  index    Values
-------  --------
      0         0
      1         1
      2         2
dtype: Struct([Field('Values', int32)]), count: 3, null_count: 0