Python PyTorch IoPathFileOpener用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.IoPathFileOpener 的用法。

用法:

class torchdata.datapipes.iter.IoPathFileOpener(source_datapipe: IterDataPipe[str], mode: str = 'r', pathmgr=None)

參數：

• source_datapipe-提供路徑名或 URL 的可迭代DataPipe

• mode-指定文件打開模式的可選字符串(默認為"r")

• pathmgr-自定義 iopath.PathManager 。如果未指定，則創建默認 PathManager。

從包含路徑名或 URL 的輸入數據管道打開文件，並生成路徑名和打開的文件流的元組(函數名稱： open_file_by_iopath )。

注意

默認PathManager當前支持本地文件路徑、普通HTTP URL和OneDrive URL。僅當 iopath >=0.1.9 時才支持 S3 URL。

示例

>>> from torchdata.datapipes.iter import IoPathFileLister
>>> datapipe = IoPathFileLister(root=S3URL)
>>> file_dp = datapipe.open_file_by_iopath()