Python PyTorch IoPathSaver用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.IoPathSaver 的用法。

用法:

class torchdata.datapipes.iter.IoPathSaver(source_datapipe: IterDataPipe[Tuple[Any, Union[bytes, bytearray, str]]], mode: str = 'w', filepath_fn: Optional[Callable] = None, *, pathmgr=None)

參數：

• source_datapipe-可迭代DataPipe，包含元數據和數據元組

• mode-打開文件以寫入數據的模式(默認為"w")

• filepath_fn-接收元數據並返回新文件目標路徑的函數

• pathmgr-自定義 iopath.PathManager 。如果未指定，則創建默認 PathManager。

接收元數據和數據元組的 DataPipe，將數據保存到由 filepath_fn 和元數據生成的目標路徑，並以 iopath 格式生成結果路徑(函數名稱： save_by_iopath )。

注意

默認PathManager當前支持本地文件路徑、普通HTTP URL和OneDrive URL。僅當 iopath >=0.1.9 時才支持 S3 URL。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> def filepath_fn(name: str) -> str:
>>>     return S3URL + name
>>> name_to_data = {"1.txt": b"DATA1", "2.txt": b"DATA2", "3.txt": b"DATA3"}
>>> source_dp = IterableWrapper(sorted(name_to_data.items()))
>>> iopath_saver_dp = source_dp.save_by_iopath(filepath_fn=filepath_fn, mode="wb")
>>> res_file_paths = list(iopath_saver_dp)