Python PyTorch StreamReader用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.StreamReader 的用法。

用法:

class torchdata.datapipes.iter.StreamReader(datapipe, chunk=None)

参数：

• datapipe-可迭代DataPipe提供标签/URL和字节流

• chunk-每次迭代要从流中读取的字节数。如果 None ，将使用 EOF 读取所有字节。

给定 IO 流及其标签名称，在元组中生成带有标签名称的字节。

示例

>>> from torchdata.datapipes.iter import IterableWrapper, StreamReader
>>> from io import StringIO
>>> dp = IterableWrapper([("alphabet", StringIO("abcde"))])
>>> list(StreamReader(dp, chunk=1))
[('alphabet', 'a'), ('alphabet', 'b'), ('alphabet', 'c'), ('alphabet', 'd'), ('alphabet', 'e')]