R yardstick brier_class 分類模型的 Brier 評分

計算分類模型的 Brier 分數。

用法

brier_class(data, ...)

# S3 method for data.frame
brier_class(data, truth, ..., na_rm = TRUE, case_weights = NULL)

brier_class_vec(truth, estimate, na_rm = TRUE, case_weights = NULL, ...)

參數

data: 包含 truth 和 ... 指定的列的 data.frame 。
...: 一組不帶引號的列名稱或一個或多個 dplyr 選擇器函數，用於選擇哪些變量包含類概率。如果 truth 是二進製，則僅應選擇 1 列，並且它應對應於 event_level 的值。否則，列的數量應與 truth 的因子級別一樣多，並且列的順序應與 truth 的因子級別相同。
truth: 真實類結果的列標識符(即 factor )。這應該是一個不帶引號的列名，盡管此參數是通過表達式傳遞的並且支持quasiquotation(您可以不帶引號的列名)。對於 _vec() 函數，一個 factor 向量。
na_rm: logical 值，指示在計算繼續之前是否應剝離 NA 值。
case_weights: 案例權重的可選列標識符。這應該是一個不帶引號的列名稱，其計算結果為 data 中的數字列。對於 _vec() 函數，一個數值向量。
estimate: 如果truth是二進製的，對應於 "relevant" 類的類概率的數值向量。否則，矩陣的列數與因子級別一樣多truth.假設它們的順序與 truth 的級別相同。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

對於分組 DataFrame ，返回的行數將與組數相同。

對於 brier_class_vec() ，單個 numeric 值(或 NA )。

細節

Brier 分數類似於回歸模型中的均方誤差。類別的二元指標與其對應的類別概率之間的差值被平方並平均。

該函數使用 Kruppa 等人 (2014) 中的約定並將結果除以二。

較小的分數值與更好的模型性能相關。

多級

對於任意數量的類，可以用相同的方式計算 Brier 分數。因此，不支持任何平均類型。

參考

Kruppa, J.、Liu, Y.、Diener, H.-C.、Holste, T.、Weimar, C.、Koonig, I. R. 和 Ziegler, A. (2014) 使用機器學習方法進行二分類和多類別概率估計結果：應用程序。生物識別雜誌，56 (4)：564-583。

也可以看看

其他類概率指標：average_precision() , classification_cost() , gain_capture() , mn_log_loss() , pr_auc() , roc_auc() , roc_aunp() , roc_aunu()

作者

馬克斯·庫恩

例子

# Two class
data("two_class_example")
brier_class(two_class_example, truth, Class1)
#> # A tibble: 1 × 3
#>   .metric     .estimator .estimate
#>   <chr>       <chr>          <dbl>
#> 1 brier_class binary         0.106

# Multiclass
library(dplyr)
data(hpc_cv)

# You can use the col1:colN tidyselect syntax
hpc_cv %>%
  filter(Resample == "Fold01") %>%
  brier_class(obs, VF:L)
#> # A tibble: 1 × 3
#>   .metric     .estimator .estimate
#>   <chr>       <chr>          <dbl>
#> 1 brier_class multiclass     0.202

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  brier_class(obs, VF:L)
#> # A tibble: 10 × 4
#>    Resample .metric     .estimator .estimate
#>    <chr>    <chr>       <chr>          <dbl>
#>  1 Fold01   brier_class multiclass     0.202
#>  2 Fold02   brier_class multiclass     0.215
#>  3 Fold03   brier_class multiclass     0.177
#>  4 Fold04   brier_class multiclass     0.204
#>  5 Fold05   brier_class multiclass     0.213
#>  6 Fold06   brier_class multiclass     0.214
#>  7 Fold07   brier_class multiclass     0.221
#>  8 Fold08   brier_class multiclass     0.209
#>  9 Fold09   brier_class multiclass     0.235
#> 10 Fold10   brier_class multiclass     0.218

源代碼：R/prob-brier_class.R

相關用法

注：本文由純淨天空篩選整理自Max Kuhn等大神的英文原創作品 Brier score for classification models。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。