Python PyTorch IoPathFileOpener用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.IoPathFileOpener 的用法。

用法:

class torchdata.datapipes.iter.IoPathFileOpener(source_datapipe: IterDataPipe[str], mode: str = 'r', pathmgr=None)

参数：

• source_datapipe-提供路径名或 URL 的可迭代DataPipe

• mode-指定文件打开模式的可选字符串(默认为"r")

• pathmgr-自定义 iopath.PathManager 。如果未指定，则创建默认 PathManager。

从包含路径名或 URL 的输入数据管道打开文件，并生成路径名和打开的文件流的元组(函数名称： open_file_by_iopath )。

注意

默认PathManager当前支持本地文件路径、普通HTTP URL和OneDrive URL。仅当 iopath >=0.1.9 时才支持 S3 URL。

示例

>>> from torchdata.datapipes.iter import IoPathFileLister
>>> datapipe = IoPathFileLister(root=S3URL)
>>> file_dp = datapipe.open_file_by_iopath()