Python PyTorch RarArchiveLoader用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.RarArchiveLoader 的用法。

用法:

class torchdata.datapipes.iter.RarArchiveLoader(datapipe: IterDataPipe[Tuple[str, io.BufferedIOBase]], *, length: int = - 1)

参数：

• datapipe-可迭代DataPipe提供路径名和rar二进制流的元组

• length-DataPipe的标称长度

从输入可迭代数据管道中解压缩 rar 二进制流，其中包含路径名元组和 rar 二进制流，并生成路径名元组和提取的二进制流(函数名称： load_from_rar )。

注意

由于压缩文件类型的限制，此 DataPipe 不支持嵌套 RAR 压缩文件。请在阅读内部压缩文件之前解压外部 RAR 压缩文件。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.rar")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> rar_loader_dp = datapipe2.load_from_rar()
>>> for _, stream in rar_loader_dp:
>>>     print(stream.read())
b'0123456789abcdef'