Python PyTorch ZipArchiveLoader用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.ZipArchiveLoader 的用法。

用法:

class torchdata.datapipes.iter.ZipArchiveLoader(datapipe: Iterable[Tuple[str, io.BufferedIOBase]], length: int = - 1)

参数：

• datapipe-可迭代的 DataPipe 提供路径名和 zip 二进制流的元组

• length-DataPipe的标称长度

从 Iterable DataPipe 打开/解压缩 zip 二进制流，其中包含路径名和 zip 二进制流的元组，并生成路径名和提取的二进制流的元组(函数名称：load_from_zip )。

注意

如果附加了默认的DecoderDataPipe，打开的文件句柄将自动关闭。否则，用户应负责显式关闭文件句柄或让 Python 的 GC 定期关闭它们。由于zipfiles 如何实现其open() 方法，下面的data_stream 变量不能在此函数范围内关闭。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.zip")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> zip_loader_dp = datapipe2.load_from_zip()
>>> for _, stream in zip_loader_dp:
>>>     print(stream.read())
b'0123456789abcdef'