R yardstick kap 河童 - 纯净天空

Kappa 是与 accuracy() 类似的度量，但通过偶然预期的准确度进行标准化，并且在一个或多个类具有较大频率分布时非常有用。

用法

kap(data, ...)

# S3 method for data.frame
kap(
  data,
  truth,
  estimate,
  weighting = "none",
  na_rm = TRUE,
  case_weights = NULL,
  ...
)

kap_vec(
  truth,
  estimate,
  weighting = "none",
  na_rm = TRUE,
  case_weights = NULL,
  ...
)

参数

data

包含 truth 和 estimate 参数指定的列的 data.frame，或者 table /matrix，其中真正的类结果应位于表的列中。

...

目前未使用。

truth

真实类结果的列标识符(即 factor )。这应该是一个不带引号的列名，尽管此参数是通过表达式传递的并且支持quasiquotation(您可以不带引号的列名)。对于 _vec() 函数，一个 factor 向量。

estimate

预测类结果的列标识符(也是 factor )。与 truth 一样，可以通过不同的方式指定，但主要方法是使用不带引号的变量名称。对于 _vec() 函数，一个 factor 向量。

weighting

计算分数时应用的权重。以下之一： "none" 、 "linear" 或 "quadratic" 。线性和二次加权会惩罚与真实值相差"far away"的mis-predictions。请注意，距离是根据 truth 和 estimate 中级别的顺序来判断的。建议为 truth 和 estimate 提供有序因子以显式编码排序，但这不是必需的。

在二进制情况下，所有 3 个权重产生相同的值，因为它只可能与真实值相差 1 个单位。

na_rm

logical 值，指示在计算继续之前是否应剥离 NA 值。

case_weights

案例权重的可选列标识符。这应该是一个不带引号的列名称，其计算结果为 data 中的数字列。对于 _vec() 函数，一个数值向量。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

对于分组 DataFrame ，返回的行数将与组数相同。

对于 kap_vec() ，单个 numeric 值(或 NA )。

多级

Kappa 自然地扩展到多类别场景。因此，未实现宏观平均和微观平均。

参考

科恩，J.(1960)。 “标称尺度的一致性系数”。教育和心理测量。 20(1)：37-46。

科恩，J.(1968)。 “加权卡帕：针对规模分歧或部分信用的名义规模协议条款”。心理通报。 70(4)：213-220。

也可以看看

其他类指标：accuracy() , bal_accuracy() , detection_prevalence() , f_meas() , j_index() , mcc() , npv() , ppv() , precision() , recall() , sens() , spec()

作者

马克斯·库恩

乔恩·哈蒙

例子

library(dplyr)
data("two_class_example")
data("hpc_cv")

# Two class
kap(two_class_example, truth, predicted)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 kap     binary         0.675

# Multiclass
# kap() has a natural multiclass extension
hpc_cv %>%
  filter(Resample == "Fold01") %>%
  kap(obs, pred)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 kap     multiclass     0.533

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  kap(obs, pred)
#> # A tibble: 10 × 4
#>    Resample .metric .estimator .estimate
#>    <chr>    <chr>   <chr>          <dbl>
#>  1 Fold01   kap     multiclass     0.533
#>  2 Fold02   kap     multiclass     0.512
#>  3 Fold03   kap     multiclass     0.594
#>  4 Fold04   kap     multiclass     0.511
#>  5 Fold05   kap     multiclass     0.514
#>  6 Fold06   kap     multiclass     0.486
#>  7 Fold07   kap     multiclass     0.454
#>  8 Fold08   kap     multiclass     0.531
#>  9 Fold09   kap     multiclass     0.454
#> 10 Fold10   kap     multiclass     0.492

源代码：R/class-kap.R

相关用法

注：本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Kappa。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。