Python PyTorch FileOpener用法及代碼示例

本文簡要介紹python語言中 torchdata.datapipes.iter.FileOpener 的用法。

用法:

class torchdata.datapipes.iter.FileOpener(datapipe: Iterable[str], mode: str = 'r', encoding: Optional[str] = None, length: int = - 1)

參數：

• datapipe-提供路徑名的可迭代數據管道

• mode-一個可選字符串，指定 open() 打開文件的模式。它默認為b，這意味著以二進製模式打開以供讀取。另一種選擇是將t 用於文本模式

• encoding-一個可選字符串，它指定基礎文件的編碼。它默認為 None 以匹配 open 的默認編碼。

• length-數據管道的標稱長度

給定路徑名，打開文件並在元組中生成路徑名和文件流。

注意

打開的文件句柄會被 Python 的 GC 定期關閉。用戶可以選擇顯式關閉它們。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener, StreamReader
>>> dp = FileLister(root=".").filter(lambda fname: fname.endswith('.txt'))
>>> dp = FileOpener(dp)
>>> dp = StreamReader(dp)
>>> list(dp)
[('./abc.txt', 'abc')]