当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark Index.nunique用法及代码示例


本文简要介绍 pyspark.pandas.Index.nunique 的用法。

用法:

Index.nunique(dropna: bool = True, approx: bool = False, rsd: float = 0.05) → int

返回对象中唯一元素的数量。默认情况下排除 NA 值。

参数

dropna布尔值,默认为真

计数中请勿包含NaN。

approx: bool, default False

如果为 False,将使用精确的算法并返回唯一的精确数量。如果为 True,则使用 HyperLogLog 近似算法,该算法对于大量数据来说速度明显更快。注意:该参数是pandas-on-Spark特有的,在pandas中找不到。

rsd: float, default 0.05

HyperLogLog 算法允许的最大估计误差。注意:就像approx 一样,该参数特定于pandas-on-Spark。

返回

int

例子

>>> ps.Series([1, 2, 3, np.nan]).nunique()
3
>>> ps.Series([1, 2, 3, np.nan]).nunique(dropna=False)
4

在大数据上,我们建议使用近似算法来加速这个函数。结果将非常接近确切的唯一计数。

>>> ps.Series([1, 2, 3, np.nan]).nunique(approx=True)
3
>>> idx = ps.Index([1, 1, 2, None])
>>> idx
Float64Index([1.0, 1.0, 2.0, nan], dtype='float64')
>>> idx.nunique()
2
>>> idx.nunique(dropna=False)
3

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.Index.nunique。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。