Python PySpark SQL Functions isnan方法用法及代码示例

PySpark SQL 函数的 isnan(-) 方法返回 True，其中列值为 NaN (not-a-number)。

注意

PySpark 将 null 和 NaN 视为单独的实体。请参阅我们的 isNull(-) 方法了解更多详情。

参数

1.col | string 或 Column 对象

要定位的列标签或 Column 对象。

返回值

PySpark SQL 列对象 (pyspark.sql.column.Column)。

例子

考虑以下PySpark DataFrame：

import numpy as np
df = spark.createDataFrame([["Alex", 25.0], ["Bob", np.nan], ["Cathy", float("nan")]], ["name", "age"])
df.show()



+-----+----+
| name| age|
+-----+----+
| Alex|25.0|
|  Bob| NaN|
|Cathy| NaN|
+-----+----+

要获取 age 为 NaN 的所有行：

from pyspark.sql import functions as F
df.where(F.isnan("age")).show()



+-----+---+
| name|age|
+-----+---+
|  Bob|NaN|
|Cathy|NaN|
+-----+---+

相关用法

注：本文由纯净天空筛选整理自Isshin Inada大神的英文原创作品 PySpark SQL Functions | isnan method。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。