Python PyTorch OnlineReader用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.OnlineReader 的用法。

用法:

class torchdata.datapipes.iter.OnlineReader(source_datapipe: IterDataPipe[str], *, timeout: Optional[float] = None)

参数：

• source_datapipe-包含 URL 的 DataPipe

• timeout-HTTP 请求超时(以秒为单位)

获取文件 URL(可以是指向文件的 HTTP URL 或指向 GDrive 文件的 URL)，并生成文件 URL 和 IO 流的元组。

示例

>>> from torchdata.datapipes.iter import IterableWrapper, OnlineReader
>>> file_url = "https://raw.githubusercontent.com/pytorch/data/main/LICENSE"
>>> online_reader_dp = OnlineReader(IterableWrapper([file_url]))
>>> reader_dp = online_reader_dp.readlines()
>>> it = iter(reader_dp)
>>> path, line = next(it)
>>> path
https://raw.githubusercontent.com/pytorch/data/main/LICENSE
>>> line
b'BSD 3-Clause License'