Python PyTorch Decompressor用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.Decompressor 的用法。

用法:

class torchdata.datapipes.iter.Decompressor(source_datapipe: IterDataPipe[Tuple[str, io.IOBase]], file_type: Optional[Union[str, torchdata.datapipes.iter.util.decompressor.CompressionType]] = None)

參數：

• source_datapipe-IterDataPipe 包含路徑元組和壓縮數據流

• file_type-可選的 string 或 CompressionType 表示輸入的壓縮格式

獲取路徑元組和壓縮數據流，並返回路徑元組和解壓縮數據流(函數名稱：decompress)。可以根據文件的文件擴展名指定或自動檢測輸入壓縮格式。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> tar_file_dp = FileLister(self.temp_dir.name, "*.tar")
>>> tar_load_dp = FileOpener(tar_file_dp, mode="b")
>>> tar_decompress_dp = Decompressor(tar_load_dp, file_type="tar")
>>> for _, stream in tar_decompress_dp:
>>>     print(stream.read())
b'0123456789abcdef'