Python pyspark DataFrame.to_spark_io用法及代碼示例

將 DataFrame 寫入 Spark 數據源。 DataFrame.spark.to_spark_io() 是 DataFrame.to_spark_io() 的別名。

參數：

path：字符串，可選

數據源的路徑。

format：字符串，可選

指定輸出數據源格式。一些常見的有：

• ‘delta’

• ‘parquet’

• ‘orc’

• ‘json’

• ‘csv’

mode：str {‘append’, ‘overwrite’, ‘ignore’, ‘error’, ‘errorifexists’}，默認

‘overwrite’。指定數據已經存在時保存操作的行為。

• ‘append’：將新數據附加到現有數據。

• ‘overwrite’：覆蓋現有數據。

• ‘ignore’：如果數據已存在，則靜默忽略此操作。

• ‘error’ 或 ‘errorifexists’：如果數據已存在，則拋出異常。

partition_cols：str 或 str 列表，可選

分區列的名稱

index_col: str or list of str, optional, default: None：

在 Spark 中用於表示 pandas-on-Spark 的索引的列名。 pandas-on-Spark 中的索引名稱被忽略。默認情況下，索引總是丟失。

options：dict

所有其他選項直接傳遞到 Spark 的數據源。

返回：

None

例子：

>>> df = ps.DataFrame(dict(
...    date=list(pd.date_range('2012-1-1 12:00:00', periods=3, freq='M')),
...    country=['KR', 'US', 'JP'],
...    code=[1, 2 ,3]), columns=['date', 'country', 'code'])
>>> df
                 date country  code
0 2012-01-31 12:00:00      KR     1
1 2012-02-29 12:00:00      US     2
2 2012-03-31 12:00:00      JP     3

>>> df.to_spark_io(path='%s/to_spark_io/foo.json' % path, format='json')