當前位置: 首頁>>編程示例 >>用法及示例精選 >>正文


Python pyspark DataFrameReader.load用法及代碼示例

本文簡要介紹 pyspark.sql.DataFrameReader.load 的用法。

用法:

DataFrameReader.load(path=None, format=None, schema=None, **options)

從數據源加載數據並將其作為 DataFrame 返回。

1.4.0 版中的新函數。

參數

pathstr 或列表,可選

file-system 支持的數據源的可選字符串或字符串列表。

formatstr,可選

數據源格式的可選字符串。默認為‘parquet’。

schema pyspark.sql.types.StructType 或 str,可選

輸入模式的可選 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。

**optionsdict

所有其他字符串選項

例子

>>> df = spark.read.format("parquet").load('python/test_support/sql/parquet_partitioned',
...     opt1=True, opt2=1, opt3='str')
>>> df.dtypes
[('name', 'string'), ('year', 'int'), ('month', 'int'), ('day', 'int')]
>>> df = spark.read.format('json').load(['python/test_support/sql/people.json',
...     'python/test_support/sql/people1.json'])
>>> df.dtypes
[('age', 'bigint'), ('aka', 'string'), ('name', 'string')]

相關用法


注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrameReader.load。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。