Python PySpark Column isNotNull方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30], ["Cathy", None]], ["name", "age"])
df.show()



+-----+----+
| name| age|
+-----+----+
| Alex|  25|
|  Bob|  30|
|Cathy|null|
+-----+----+

识别 PySpark DataFrame 中某些值不为空的行

要识别 age 的值不是 null 的行：

df.select(df.age.isNotNull()).show()



+-------------+
|(age IS NULL)|
+-------------+
|        false|
|        false|
|         true|
+-------------+

获取 PySpark DataFrame 中特定值不为空的行

要获取 age 字段不是 null 的行：

df.filter(df.age.isNotNull()).show()



+----+---+
|name|age|
+----+---+
|Alex| 25|
| Bob| 30|
+----+---+

此处， filter(~) 提取与isNotNull() 方法返回的布尔列中的True 对应的行。