Python PyTorch FSSpecSaver用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.FSSpecSaver 的用法。

用法:

class torchdata.datapipes.iter.FSSpecSaver(source_datapipe: IterDataPipe[Tuple[Any, Union[bytes, bytearray, str]]], mode: str = 'w', filepath_fn: Optional[Callable] = None)

参数：

• source_datapipe-可迭代DataPipe，包含元数据和数据元组

• mode-打开文件以写入数据的模式(默认为"w")

• filepath_fn-接收元数据并返回新文件目标路径的函数

接收元数据和数据元组的 DataPipe，将数据保存到目标路径(由 filepath_fn 和元数据生成)，并生成生成的 fsspec 路径(函数名称： save_by_fsspec )。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> def filepath_fn(name: str) -> str:
>>>     return dir_path + name
>>> name_to_data = {"1.txt": b"DATA1", "2.txt": b"DATA2", "3.txt": b"DATA3"}
>>> source_dp = IterableWrapper(sorted(name_to_data.items()))
>>> fsspec_saver_dp = source_dp.save_by_fsspec(filepath_fn=filepath_fn, mode="wb")
>>> res_file_paths = list(fsspec_saver_dp)