当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python PyTorch CSVParser用法及代码示例


本文简要介绍python语言中 torchdata.datapipes.iter.CSVParser 的用法。

用法:

class torchdata.datapipes.iter.CSVParser(source_datapipe: IterDataPipe[Tuple[str, IO]], *, skip_lines: int = 0, decode: bool = True, encoding: str = 'utf-8', errors: str = 'ignore', return_path: bool = False, **fmtparams)

参数

  • source_datapipe-源 DataPipe 包含文件名和 CSV 数据流的元组

  • skip_lines-每个文件开头要跳过的行数

  • strip_newline-如果 True ,新行字符将被剥离

  • decode-如果 True ,这将根据指定的 encoding 解码文件的内容

  • encoding-文件的字符编码(default=’utf-8’)

  • errors-解码时使用的错误处理方案

  • return_path-如果 True ,每一行将返回一个路径和内容的元组,而不仅仅是内容

接受由文件名和 CSV 数据流的元组组成的 DataPipe,一次一行读取并返回 CSV 文件中的内容(函数名称:parse_csv )。默认情况下,每个输出都是 List ,但它取决于 fmtparams

示例

>>> from torchdata.datapipes.iter import IterableWrapper, FileOpener
>>> import os
>>> def get_name(path_and_stream):
>>>     return os.path.basename(path_and_stream[0]), path_and_stream[1]
>>> datapipe1 = IterableWrapper(["1.csv", "empty.csv", "empty2.csv"])
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> datapipe3 = datapipe2.map(get_name)
>>> csv_parser_dp = datapipe3.parse_csv()
>>> list(csv_parser_dp)
[['key', 'item'], ['a', '1'], ['b', '2'], []]

相关用法


注:本文由纯净天空筛选整理自pytorch.org大神的英文原创作品 torchdata.datapipes.iter.CSVParser。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。