当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


Python pyspark DataFrame.quantile用法及代码示例


本文简要介绍 pyspark.pandas.DataFrame.quantile 的用法。

用法:

DataFrame.quantile(q: Union[float, Iterable[float]] = 0.5, axis: Union[int, str] = 0, numeric_only: bool = True, accuracy: int = 10000) → Union[DataFrame, Series]

返回给定分位数的值。

注意

与 pandas 不同,pandas-on-Spark 中的分位数是基于近似百分位数计算的近似分位数,因为跨大型数据集计算分位数非常昂贵。

参数

q浮点型或类似数组,默认 0.5(50% 分位数)

0 <= q <= 1,要计算的分位数。

axisint或str,默认0或‘index’

目前只能设置为0。

numeric_only布尔值,默认为真

如果为 False,还将计算 datetime 和 timedelta 数据的分位数。目前只能设置为True。

accuracy整数,可选

近似的默认精度。较大的值意味着更好的准确性。相对误差可以推导出 1.0/accuracy。

返回

系列或DataFrame

如果 q 是一个数组,则将返回 DataFrame,其中索引是 q,列是 self 的列,值是分位数。如果 q 是浮点数,则将返回一个 Series,其中索引是 self 的列,值是分位数。

例子

>>> psdf = ps.DataFrame({'a': [1, 2, 3, 4, 5], 'b': [6, 7, 8, 9, 0]})
>>> psdf
   a  b
0  1  6
1  2  7
2  3  8
3  4  9
4  5  0
>>> psdf.quantile(.5)
a    3.0
b    7.0
Name: 0.5, dtype: float64
>>> psdf.quantile([.25, .5, .75])
        a    b
0.25  2.0  6.0
0.50  3.0  7.0
0.75  4.0  8.0

相关用法


注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.DataFrame.quantile。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。