Python PyTorch Decompressor用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.Decompressor 的用法。

用法:

class torchdata.datapipes.iter.Decompressor(source_datapipe: IterDataPipe[Tuple[str, io.IOBase]], file_type: Optional[Union[str, torchdata.datapipes.iter.util.decompressor.CompressionType]] = None)

参数：

• source_datapipe-IterDataPipe 包含路径元组和压缩数据流

• file_type-可选的 string 或 CompressionType 表示输入的压缩格式

获取路径元组和压缩数据流，并返回路径元组和解压缩数据流(函数名称：decompress)。可以根据文件的文件扩展名指定或自动检测输入压缩格式。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> tar_file_dp = FileLister(self.temp_dir.name, "*.tar")
>>> tar_load_dp = FileOpener(tar_file_dp, mode="b")
>>> tar_decompress_dp = Decompressor(tar_load_dp, file_type="tar")
>>> for _, stream in tar_decompress_dp:
>>>     print(stream.read())
b'0123456789abcdef'