Python pyspark DataFrame.fillna用法及代码示例

本文简要介绍 pyspark.sql.DataFrame.fillna 的用法。

用法: DataFrame.fillna(value, subset=None)

替换空值，na.fill() 的别名。 DataFrame.fillna() 和 DataFrameNaFunctions.fill() 互为别名。

版本 1.3.1 中的新函数。

参数：

value：int、float、string、bool 或 dict: 用于替换空值的值。如果值是 dict，则忽略 subset 并且 value 必须是从列名(字符串)到替换值的映射。替换值必须是 int、float、boolean 或 string。
subset：str，元组或列表，可选: 要考虑的列名的可选列表。子集中指定的不具有匹配数据类型的列将被忽略。例如，如果value 是一个字符串，并且子集包含一个非字符串列，则简单地忽略非字符串列。

例子：

>>> df4.na.fill(50).show()
+---+------+-----+
|age|height| name|
+---+------+-----+
| 10|    80|Alice|
|  5|    50|  Bob|
| 50|    50|  Tom|
| 50|    50| null|
+---+------+-----+

>>> df5.na.fill(False).show()
+----+-------+-----+
| age|   name|  spy|
+----+-------+-----+
|  10|  Alice|false|
|   5|    Bob|false|
|null|Mallory| true|
+----+-------+-----+

>>> df4.na.fill({'age': 50, 'name': 'unknown'}).show()
+---+------+-------+
|age|height|   name|
+---+------+-------+
| 10|    80|  Alice|
|  5|  null|    Bob|
| 50|  null|    Tom|
| 50|  null|unknown|
+---+------+-------+

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrame.fillna。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。