Python PyTorch FileOpener用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.FileOpener 的用法。

用法:

class torchdata.datapipes.iter.FileOpener(datapipe: Iterable[str], mode: str = 'r', encoding: Optional[str] = None, length: int = - 1)

参数：

• datapipe-提供路径名的可迭代数据管道

• mode-一个可选字符串，指定 open() 打开文件的模式。它默认为b，这意味着以二进制模式打开以供读取。另一种选择是将t 用于文本模式

• encoding-一个可选字符串，它指定基础文件的编码。它默认为 None 以匹配 open 的默认编码。

• length-数据管道的标称长度

给定路径名，打开文件并在元组中生成路径名和文件流。

注意

打开的文件句柄会被 Python 的 GC 定期关闭。用户可以选择显式关闭它们。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener, StreamReader
>>> dp = FileLister(root=".").filter(lambda fname: fname.endswith('.txt'))
>>> dp = FileOpener(dp)
>>> dp = StreamReader(dp)
>>> list(dp)
[('./abc.txt', 'abc')]