当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python PySpark DataFrame toPandas方法用法及代码示例


PySpark DataFrame 的 toPandas(~) 方法将 PySpark DataFrame 转换为 Pandas DataFrame。

警告

请注意以下事项：

  • 所有来自工作节点的数据都会传输到Driver，因此请确保您的Driver有足够的内存。

  • 驱动程序必须安装 Pandas 库。

参数

该方法不接受任何参数。

返回值

Pandas DataFrame 。

例子

考虑以下 DataFrame ：

df = spark.createDataFrame([["Alex", 20], ["Bob", 24], ["Cathy", 22]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 24|
|Cathy| 22|
+-----+---+

将 PySpark DataFrame 转换为 Pandas DataFrame

将此 PySpark DataFrame 转换为 Pandas DataFrame：

df.toPandas()



   name   age
0  Alex   20
1  Bob    24
2  Cathy  22

相关用法


注：本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark DataFrame | toPandas method。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。