R yardstick brier_class 分类模型的 Brier 评分

计算分类模型的 Brier 分数。

用法

brier_class(data, ...)

# S3 method for data.frame
brier_class(data, truth, ..., na_rm = TRUE, case_weights = NULL)

brier_class_vec(truth, estimate, na_rm = TRUE, case_weights = NULL, ...)

参数

data: 包含 truth 和 ... 指定的列的 data.frame 。
...: 一组不带引号的列名称或一个或多个 dplyr 选择器函数，用于选择哪些变量包含类概率。如果 truth 是二进制，则仅应选择 1 列，并且它应对应于 event_level 的值。否则，列的数量应与 truth 的因子级别一样多，并且列的顺序应与 truth 的因子级别相同。
truth: 真实类结果的列标识符(即 factor )。这应该是一个不带引号的列名，尽管此参数是通过表达式传递的并且支持quasiquotation(您可以不带引号的列名)。对于 _vec() 函数，一个 factor 向量。
na_rm: logical 值，指示在计算继续之前是否应剥离 NA 值。
case_weights: 案例权重的可选列标识符。这应该是一个不带引号的列名称，其计算结果为 data 中的数字列。对于 _vec() 函数，一个数值向量。
estimate: 如果truth是二进制的，对应于 "relevant" 类的类概率的数值向量。否则，矩阵的列数与因子级别一样多truth.假设它们的顺序与 truth 的级别相同。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

对于分组 DataFrame ，返回的行数将与组数相同。

对于 brier_class_vec() ，单个 numeric 值(或 NA )。

细节

Brier 分数类似于回归模型中的均方误差。类别的二元指标与其对应的类别概率之间的差值被平方并平均。

该函数使用 Kruppa 等人 (2014) 中的约定并将结果除以二。

较小的分数值与更好的模型性能相关。

多级

对于任意数量的类，可以用相同的方式计算 Brier 分数。因此，不支持任何平均类型。

参考

Kruppa, J.、Liu, Y.、Diener, H.-C.、Holste, T.、Weimar, C.、Koonig, I. R. 和 Ziegler, A. (2014) 使用机器学习方法进行二分类和多类别概率估计结果：应用程序。生物识别杂志，56 (4)：564-583。

也可以看看

其他类概率指标：average_precision() , classification_cost() , gain_capture() , mn_log_loss() , pr_auc() , roc_auc() , roc_aunp() , roc_aunu()

作者

马克斯·库恩

例子

# Two class
data("two_class_example")
brier_class(two_class_example, truth, Class1)
#> # A tibble: 1 × 3
#>   .metric     .estimator .estimate
#>   <chr>       <chr>          <dbl>
#> 1 brier_class binary         0.106

# Multiclass
library(dplyr)
data(hpc_cv)

# You can use the col1:colN tidyselect syntax
hpc_cv %>%
  filter(Resample == "Fold01") %>%
  brier_class(obs, VF:L)
#> # A tibble: 1 × 3
#>   .metric     .estimator .estimate
#>   <chr>       <chr>          <dbl>
#> 1 brier_class multiclass     0.202

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  brier_class(obs, VF:L)
#> # A tibble: 10 × 4
#>    Resample .metric     .estimator .estimate
#>    <chr>    <chr>       <chr>          <dbl>
#>  1 Fold01   brier_class multiclass     0.202
#>  2 Fold02   brier_class multiclass     0.215
#>  3 Fold03   brier_class multiclass     0.177
#>  4 Fold04   brier_class multiclass     0.204
#>  5 Fold05   brier_class multiclass     0.213
#>  6 Fold06   brier_class multiclass     0.214
#>  7 Fold07   brier_class multiclass     0.221
#>  8 Fold08   brier_class multiclass     0.209
#>  9 Fold09   brier_class multiclass     0.235
#> 10 Fold10   brier_class multiclass     0.218

源代码：R/prob-brier_class.R

相关用法

注：本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Brier score for classification models。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。