Python PySpark Column isNotNull方法用法及代碼示例

例子

考慮以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30], ["Cathy", None]], ["name", "age"])
df.show()



+-----+----+
| name| age|
+-----+----+
| Alex|  25|
|  Bob|  30|
|Cathy|null|
+-----+----+

識別 PySpark DataFrame 中某些值不為空的行

要識別 age 的值不是 null 的行：

df.select(df.age.isNotNull()).show()



+-------------+
|(age IS NULL)|
+-------------+
|        false|
|        false|
|         true|
+-------------+

獲取 PySpark DataFrame 中特定值不為空的行

要獲取 age 字段不是 null 的行：

df.filter(df.age.isNotNull()).show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
+----+---+

此處， filter(~) 提取與isNotNull() 方法返回的布爾列中的True 對應的行。