Python PySpark DataFrame drop方法用法及代碼示例

PySpark DataFrame 的 drop(~) 方法返回一個新的 DataFrame，其中刪除了指定的列。

參數

1.*cols | string 或 Column

要刪除的列。

返回值

一個新的 PySpark 數據幀。

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25, True], ["Bob", 30, False]], ["name", "age", "is_married"])
df.show()



+----+---+----------+
|name|age|is_married|
+----+---+----------+
|Alex| 25|      true|
| Bob| 30|     false|
+----+---+----------+

刪除 PySpark DataFrame 的單列

要刪除 name 列：

df.drop("name").show()



+---+----------+
|age|is_married|
+---+----------+
| 25|      true|
| 30|     false|
+---+----------+

請注意，原始df 保持不變。

我們還可以使用 sql.functions 將該列作為 Column 對象提供：

import pyspark.sql.functions as F
df.drop(F.col("name")).show()



+---+----------+
|age|is_married|
+---+----------+
| 25|      true|
| 30|     false|
+---+----------+

刪除 PySpark DataFrame 的多列

要刪除列 name 和 age ：

df.drop("name", "age").show()



+----------+
|is_married|
+----------+
|      true|
|     false|
+----------+

import pyspark.sql.functions as F
df.drop(F.col("name"), F.col("age")).show()



TypeError: each col in the param list should be a string

刪除給定列標簽列表的列

要刪除給定列標簽列表的列：

cols = ["name", "age"]
df.drop(*cols).show()



+----------+
|is_married|
+----------+
|      true|
|     false|
+----------+

這裏，*cols 將列表轉換為位置參數。