當前位置: 首頁>>編程示例 >>用法及示例精選 >>正文


Python pyspark DataFrameReader.csv用法及代碼示例

本文簡要介紹 pyspark.sql.DataFrameReader.csv 的用法。

用法:

DataFrameReader.csv(path, schema=None, sep=None, encoding=None, quote=None, escape=None, comment=None, header=None, inferSchema=None, ignoreLeadingWhiteSpace=None, ignoreTrailingWhiteSpace=None, nullValue=None, nanValue=None, positiveInf=None, negativeInf=None, dateFormat=None, timestampFormat=None, maxColumns=None, maxCharsPerColumn=None, maxMalformedLogPerPartition=None, mode=None, columnNameOfCorruptRecord=None, multiLine=None, charToEscapeQuoteEscaping=None, samplingRatio=None, enforceSchema=None, emptyValue=None, locale=None, lineSep=None, pathGlobFilter=None, recursiveFileLookup=None, modifiedBefore=None, modifiedAfter=None, unescapedQuoteHandling=None)

加載 CSV 文件並將結果作為 DataFrame 返回。

如果啟用inferSchema,此函數將遍曆輸入一次以確定輸入模式。為避免一次性遍曆整個數據,請禁用 inferSchema 選項或使用 schema 顯式指定架構。

2.0.0 版中的新函數。

參數

path字符串或列表

字符串或字符串列表,用於輸入路徑或存儲 CSV 行的字符串的 RDD。

schema pyspark.sql.types.StructType 或 str,可選

輸入模式的可選 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。

其他參數

Extra options

有關額外選項,請參閱您使用的版本中的Data Source Option

例子

>>> df = spark.read.csv('python/test_support/sql/ages.csv')
>>> df.dtypes
[('_c0', 'string'), ('_c1', 'string')]
>>> rdd = sc.textFile('python/test_support/sql/ages.csv')
>>> df2 = spark.read.csv(rdd)
>>> df2.dtypes
[('_c0', 'string'), ('_c1', 'string')]

相關用法


注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrameReader.csv。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。