Python pyspark DataFrame.nunique用法及代码示例

返回对象中唯一元素的数量。

默认情况下排除 NA 值。

参数：

axis：int，默认 0 或 ‘index’

目前只能设置为0。

dropna：布尔值，默认为真

计数中请勿包含NaN。

approx: bool, default False：

如果为 False，将使用精确的算法并返回唯一的精确数量。如果为 True，则使用 HyperLogLog 近似算法，该算法对于大量数据来说速度明显更快。注意：该参数是pandas-on-Spark特有的，在pandas中找不到。

rsd: float, default 0.05：

HyperLogLog 算法允许的最大估计误差。注意：就像approx 一样，该参数特定于pandas-on-Spark。

返回：

作为 pandas-on-Spark 系列的每列唯一值的数量。

例子：

>>> df = ps.DataFrame({'A': [1, 2, 3], 'B': [np.nan, 3, np.nan]})
>>> df.nunique()
A    3
B    1
dtype: int64

>>> df.nunique(dropna=False)
A    3
B    2
dtype: int64

在大数据上，我们建议使用近似算法来加速这个函数。结果将非常接近确切的唯一计数。

>>> df.nunique(approx=True)
A    3
B    1
dtype: int64