Python PySpark DataFrame tail方法用法及代码示例

PySpark DataFrame 的 tail(~) 方法以 Row 对象列表的形式返回最后的 num 行数。

警告

此方法涉及将数据传输到应用程序的驱动程序进程，因此如果指定的num 太大，则会出现OutOfMemoryError。

参数

1. num | int

要返回的行数。

返回值

Row 对象的列表。

例子

考虑以下PySpark DataFrame：

columns = ["name", "age"]
data = [("Alex", 15), ("Bob", 20), ("Cathy", 25)]
df = spark.createDataFrame(data, columns)
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 15|
|  Bob| 20|
|Cathy| 25|
+-----+---+

获取PySpark DataFrame 的最后一行

要获取最后一行：

df.tail(num=1)



[Row(name='Cathy', age=25)]

获取PySpark DataFrame 的最后 n 行

要获取最后两行：

df.tail(num=2)



[Row(name='Bob', age=20), Row(name='Cathy', age=25)]

相关用法

注：本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark DataFrame | tail method。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。