Python PyTorch XzFileLoader用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.XzFileLoader 的用法。

用法:

class torchdata.datapipes.iter.XzFileLoader(datapipe: Iterable[Tuple[str, io.BufferedIOBase]], length: int = - 1)

參數：

• datapipe-可迭代DataPipe提供路徑名和xy二進製流的元組

• length-DataPipe的標稱長度

從包含路徑名元組和 xy 二進製流的 Iterable DataPipe 解壓縮 xz (lzma) 二進製流，並生成路徑名元組和提取的二進製流(函數名稱：load_from_xz )。

注意

如果附加了默認的DecoderDataPipe，打開的文件句柄將自動關閉。否則，用戶應負責顯式關閉文件句柄或讓 Python 的 GC 定期關閉它們。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.xz")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> xz_loader_dp = datapipe2.load_from_xz()
>>> for _, stream in xz_loader_dp:
>>>     print(stream.read())
b'0123456789abcdef'