当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python pyspark DataFrame.to_pandas_on_spark用法及代码示例


本文简要介绍 pyspark.sql.DataFrame.to_pandas_on_spark 的用法。

用法:

DataFrame.to_pandas_on_spark(index_col=None)

将现有的 DataFrame 转换为 pandas-on-Spark DataFrame。

如果pandas-on-Spark DataFrame转换为Spark DataFrame，然后再转换回pandas-on-Spark，它将丢失索引信息，原始索引将变成普通列。

仅当 Pandas 已安装且可用时才可用。

参数：

index_col: str or list of str, optional, default: None：

Spark中表的索引列。

例子：

>>> df.show()  
+----+----+
|Col1|Col2|
+----+----+
|   a|   1|
|   b|   2|
|   c|   3|
+----+----+
>>> df.to_pandas_on_spark()  
  Col1  Col2
0    a     1
1    b     2
2    c     3

我们可以指定索引列。

>>> df.to_pandas_on_spark(index_col="Col1"): 
      Col2
Col1
a        1
b        2
c        3

相关用法


注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrame.to_pandas_on_spark。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。