Python PyTorch LineReader用法及代码示例

本文简要介绍python语言中 torchdata.datapipes.iter.LineReader 的用法。

用法:

class torchdata.datapipes.iter.LineReader(source_datapipe: IterDataPipe[Tuple[str, IO]], *, skip_lines: int = 0, strip_newline: bool = True, decode: bool = False, encoding='utf-8', errors: str = 'ignore', return_path: bool = True)

参数：

• source_datapipe-带有文件名和字符串数据流元组的DataPipe

• skip_lines-每个文件开头要跳过的行数

• strip_newline-如果 True ，新行字符将被剥离

• decode-如果 True ，这将根据指定的 encoding 解码文件的内容

• encoding-文件的字符编码(default=’utf-8’)

• errors-解码时使用的错误处理方案

• return_path-如果 True ，每一行将返回一个路径和内容的元组，而不仅仅是内容

接受由文件名和字符串数据流的元组组成的DataPipe，并且对于流中的每一行，生成文件名和行的元组(函数名称：readlines)。

示例

>>> from torchdata.datapipes.iter import IterableWrapper
>>> import io
>>> text1 = "Line1\nLine2"
>>> text2 = "Line2,1\r\nLine2,2\r\nLine2,3"
>>> source_dp = IterableWrapper([("file1", io.StringIO(text1)), ("file2", io.StringIO(text2))])
>>> line_reader_dp = source_dp.readlines()
>>> list(line_reader_dp)
[('file1', 'Line1'), ('file1', 'Line2'), ('file2', 'Line2,1'), ('file2', 'Line2,2'), ('file2', 'Line2,3')]