Python pyspark DataFrameReader.load用法及代码示例

本文简要介绍 pyspark.sql.DataFrameReader.load 的用法。

用法:
DataFrameReader.load(path=None, format=None, schema=None, **options)

从数据源加载数据并将其作为 DataFrame 返回。

1.4.0 版中的新函数。

参数：

path：str 或列表，可选: file-system 支持的数据源的可选字符串或字符串列表。
format：str，可选: 数据源格式的可选字符串。默认为‘parquet’。
schema： pyspark.sql.types.StructType 或 str，可选: 输入模式的可选 pyspark.sql.types.StructType 或 DDL 格式的字符串(例如 col0 INT, col1 DOUBLE )。
**options：dict: 所有其他字符串选项

例子：

>>> df = spark.read.format("parquet").load('python/test_support/sql/parquet_partitioned',
...     opt1=True, opt2=1, opt3='str')
>>> df.dtypes
[('name', 'string'), ('year', 'int'), ('month', 'int'), ('day', 'int')]

>>> df = spark.read.format('json').load(['python/test_support/sql/people.json',
...     'python/test_support/sql/people1.json'])
>>> df.dtypes
[('age', 'bigint'), ('aka', 'string'), ('name', 'string')]

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrameReader.load。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。