本文簡要介紹
pyspark.sql.DataFrameReader.csv
的用法。用法:
DataFrameReader.csv(path, schema=None, sep=None, encoding=None, quote=None, escape=None, comment=None, header=None, inferSchema=None, ignoreLeadingWhiteSpace=None, ignoreTrailingWhiteSpace=None, nullValue=None, nanValue=None, positiveInf=None, negativeInf=None, dateFormat=None, timestampFormat=None, maxColumns=None, maxCharsPerColumn=None, maxMalformedLogPerPartition=None, mode=None, columnNameOfCorruptRecord=None, multiLine=None, charToEscapeQuoteEscaping=None, samplingRatio=None, enforceSchema=None, emptyValue=None, locale=None, lineSep=None, pathGlobFilter=None, recursiveFileLookup=None, modifiedBefore=None, modifiedAfter=None, unescapedQuoteHandling=None)
加載 CSV 文件並將結果作為
DataFrame
返回。如果啟用
inferSchema
,此函數將遍曆輸入一次以確定輸入模式。為避免一次性遍曆整個數據,請禁用inferSchema
選項或使用schema
顯式指定架構。2.0.0 版中的新函數。
- path:字符串或列表
字符串或字符串列表,用於輸入路徑或存儲 CSV 行的字符串的 RDD。
- schema:
pyspark.sql.types.StructType
或 str,可選 輸入模式的可選
pyspark.sql.types.StructType
或 DDL 格式的字符串(例如col0 INT, col1 DOUBLE
)。
- Extra options:
有關額外選項,請參閱您使用的版本中的Data Source Option。
參數:
其他參數:
例子:
>>> df = spark.read.csv('python/test_support/sql/ages.csv') >>> df.dtypes [('_c0', 'string'), ('_c1', 'string')] >>> rdd = sc.textFile('python/test_support/sql/ages.csv') >>> df2 = spark.read.csv(rdd) >>> df2.dtypes [('_c0', 'string'), ('_c1', 'string')]
相關用法
- Python pyspark DataFrameReader.json用法及代碼示例
- Python pyspark DataFrameReader.parquet用法及代碼示例
- Python pyspark DataFrameReader.orc用法及代碼示例
- Python pyspark DataFrameReader.table用法及代碼示例
- Python pyspark DataFrameReader.format用法及代碼示例
- Python pyspark DataFrameReader.load用法及代碼示例
- Python pyspark DataFrame.to_latex用法及代碼示例
- Python pyspark DataFrame.align用法及代碼示例
- Python pyspark DataFrame.plot.bar用法及代碼示例
- Python pyspark DataFrame.to_delta用法及代碼示例
- Python pyspark DataFrame.quantile用法及代碼示例
- Python pyspark DataFrameWriter.partitionBy用法及代碼示例
- Python pyspark DataFrame.cumsum用法及代碼示例
- Python pyspark DataFrame.iloc用法及代碼示例
- Python pyspark DataFrame.dropDuplicates用法及代碼示例
- Python pyspark DataFrame.printSchema用法及代碼示例
- Python pyspark DataFrame.to_table用法及代碼示例
- Python pyspark DataFrame.rmod用法及代碼示例
- Python pyspark DataFrame.div用法及代碼示例
- Python pyspark DataFrame.drop_duplicates用法及代碼示例
- Python pyspark DataFrame.to_pandas用法及代碼示例
- Python pyspark DataFrame.sum用法及代碼示例
- Python pyspark DataFrame.transform用法及代碼示例
- Python pyspark DataFrame.get用法及代碼示例
- Python pyspark DataFrame.rsub用法及代碼示例
注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrameReader.csv。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。