Python pyspark DataFrameReader.csv用法及代码示例

本文简要介绍 pyspark.sql.DataFrameReader.csv 的用法。

用法: DataFrameReader.csv(path, schema=None, sep=None, encoding=None, quote=None, escape=None, comment=None, header=None, inferSchema=None, ignoreLeadingWhiteSpace=None, ignoreTrailingWhiteSpace=None, nullValue=None, nanValue=None, positiveInf=None, negativeInf=None, dateFormat=None, timestampFormat=None, maxColumns=None, maxCharsPerColumn=None, maxMalformedLogPerPartition=None, mode=None, columnNameOfCorruptRecord=None, multiLine=None, charToEscapeQuoteEscaping=None, samplingRatio=None, enforceSchema=None, emptyValue=None, locale=None, lineSep=None, pathGlobFilter=None, recursiveFileLookup=None, modifiedBefore=None, modifiedAfter=None, unescapedQuoteHandling=None)

加载 CSV 文件并将结果作为 DataFrame 返回。

如果启用inferSchema，此函数将遍历输入一次以确定输入模式。为避免一次性遍历整个数据，请禁用 inferSchema 选项或使用 schema 显式指定架构。

2.0.0 版中的新函数。

参数：

path：字符串或列表: 字符串或字符串列表，用于输入路径或存储 CSV 行的字符串的 RDD。
schema： pyspark.sql.types.StructType 或 str，可选: 输入模式的可选 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。

其他参数：

Extra options：: 有关额外选项，请参阅您使用的版本中的Data Source Option。

例子：

>>> df = spark.read.csv('python/test_support/sql/ages.csv')
>>> df.dtypes
[('_c0', 'string'), ('_c1', 'string')]
>>> rdd = sc.textFile('python/test_support/sql/ages.csv')
>>> df2 = spark.read.csv(rdd)
>>> df2.dtypes
[('_c0', 'string'), ('_c1', 'string')]

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrameReader.csv。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。