Python PyTorch TarArchiveLoader用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.TarArchiveLoader 的用法。

用法:

class torchdata.datapipes.iter.TarArchiveLoader(datapipe: Iterable[Tuple[str, io.BufferedIOBase]], mode: str = 'r:*', length: int = - 1)

參數：

• datapipe-可迭代DataPipe，提供路徑名和 tar 二進製流的元組

• mode-tarfile.open 用於讀取文件對象的文件模式。模式必須是 ‘filemode[:compression]’ 形式的字符串

• length-DataPipe 的標稱長度

從 Iterable DataPipe 打開/解壓縮 tar 二進製流，其中包含路徑名和 tar 二進製流的元組，並生成路徑名和提取的二進製流的元組(函數名稱： load_from_tar )。

注意

如果附加了默認的DecoderDataPipe，打開的文件句柄將自動關閉。否則，用戶應負責顯式關閉文件句柄或讓 Python 的 GC 定期關閉它們。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.tar")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> tar_loader_dp = datapipe2.load_from_tar()
>>> for _, stream in tar_loader_dp:
>>>     print(stream.read())
b'0123456789abcdef'