Python PyTorch ZipArchiveLoader用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.ZipArchiveLoader 的用法。

用法:

class torchdata.datapipes.iter.ZipArchiveLoader(datapipe: Iterable[Tuple[str, io.BufferedIOBase]], length: int = - 1)

參數：

• datapipe-可迭代的 DataPipe 提供路徑名和 zip 二進製流的元組

• length-DataPipe的標稱長度

從 Iterable DataPipe 打開/解壓縮 zip 二進製流，其中包含路徑名和 zip 二進製流的元組，並生成路徑名和提取的二進製流的元組(函數名稱：load_from_zip )。

注意

如果附加了默認的DecoderDataPipe，打開的文件句柄將自動關閉。否則，用戶應負責顯式關閉文件句柄或讓 Python 的 GC 定期關閉它們。由於zipfiles 如何實現其open() 方法，下麵的data_stream 變量不能在此函數範圍內關閉。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.zip")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> zip_loader_dp = datapipe2.load_from_zip()
>>> for _, stream in zip_loader_dp:
>>>     print(stream.read())
b'0123456789abcdef'