Python PyTorch StreamReader用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.StreamReader 的用法。

用法:

class torchdata.datapipes.iter.StreamReader(datapipe, chunk=None)

參數：

• datapipe-可迭代DataPipe提供標簽/URL和字節流

• chunk-每次迭代要從流中讀取的字節數。如果 None ，將使用 EOF 讀取所有字節。

給定 IO 流及其標簽名稱，在元組中生成帶有標簽名稱的字節。

示例

>>> from torchdata.datapipes.iter import IterableWrapper, StreamReader
>>> from io import StringIO
>>> dp = IterableWrapper([("alphabet", StringIO("abcde"))])
>>> list(StreamReader(dp, chunk=1))
[('alphabet', 'a'), ('alphabet', 'b'), ('alphabet', 'c'), ('alphabet', 'd'), ('alphabet', 'e')]