Python pyspark DataFrame.to_parquet用法及代码示例

将 DataFrame 作为 Parquet 文件或目录写入。

参数：

path：str，必填

写入路径。

mode：str

Python写模式，默认‘w’。

注意

mode 可以接受用于 Spark 写入模式的字符串。如‘append’, ‘overwrite’, ‘ignore’, ‘error’, ‘errorifexists’。

• ‘append’(相当于‘a’)：将新数据追加到现有数据。

• ‘overwrite’(相当于‘w’)：覆盖现有数据。

• ‘ignore’：如果数据已存在，则静默忽略此操作。

• ‘error’ 或 ‘errorifexists’：如果数据已存在，则抛出异常。

partition_cols：str 或 str 列表，可选，默认无

分区列的名称

compression：字符串 {‘none’, ‘uncompressed’, ‘snappy’, ‘gzip’, ‘lzo’, ‘brotli’, ‘lz4’, ‘zstd’}

保存到文件时使用的压缩编解码器。如果设置了 None，它将使用 spark.sql.parquet.compression.codec 中指定的值。

index_col: str or list of str, optional, default: None：

在 Spark 中用于表示 pandas-on-Spark 的索引的列名。 pandas-on-Spark 中的索引名称被忽略。默认情况下，索引总是丢失。

options：dict

所有其他选项直接传递到 Spark 的数据源。

例子：

>>> df = ps.DataFrame(dict(
...    date=list(pd.date_range('2012-1-1 12:00:00', periods=3, freq='M')),
...    country=['KR', 'US', 'JP'],
...    code=[1, 2 ,3]), columns=['date', 'country', 'code'])
>>> df
                 date country  code
0 2012-01-31 12:00:00      KR     1
1 2012-02-29 12:00:00      US     2
2 2012-03-31 12:00:00      JP     3

>>> df.to_parquet('%s/to_parquet/foo.parquet' % path, partition_cols='date')

>>> df.to_parquet(
...     '%s/to_parquet/foo.parquet' % path,
...     mode = 'overwrite',
...     partition_cols=['date', 'country'])