Python PySpark DataFrame tail方法用法及代碼示例

PySpark DataFrame 的 tail(~) 方法以 Row 對象列表的形式返回最後的 num 行數。

警告

此方法涉及將數據傳輸到應用程序的驅動程序進程，因此如果指定的num 太大，則會出現OutOfMemoryError。

參數

1. num | int

要返回的行數。

返回值

Row 對象的列表。

例子

考慮以下PySpark DataFrame：

columns = ["name", "age"]
data = [("Alex", 15), ("Bob", 20), ("Cathy", 25)]
df = spark.createDataFrame(data, columns)
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 15|
|  Bob| 20|
|Cathy| 25|
+-----+---+

獲取PySpark DataFrame 的最後一行

要獲取最後一行：

df.tail(num=1)



[Row(name='Cathy', age=25)]

獲取PySpark DataFrame 的最後 n 行

要獲取最後兩行：

df.tail(num=2)



[Row(name='Bob', age=20), Row(name='Cathy', age=25)]

相關用法

注：本文由純淨天空篩選整理自Isshin Inada大神的英文原創作品 PySpark DataFrame | tail method。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。