R yardstick kap 河童 - 純淨天空

Kappa 是與 accuracy() 類似的度量，但通過偶然預期的準確度進行標準化，並且在一個或多個類具有較大頻率分布時非常有用。

用法

kap(data, ...)

# S3 method for data.frame
kap(
  data,
  truth,
  estimate,
  weighting = "none",
  na_rm = TRUE,
  case_weights = NULL,
  ...
)

kap_vec(
  truth,
  estimate,
  weighting = "none",
  na_rm = TRUE,
  case_weights = NULL,
  ...
)

參數

data

包含 truth 和 estimate 參數指定的列的 data.frame，或者 table /matrix，其中真正的類結果應位於表的列中。

...

目前未使用。

truth

真實類結果的列標識符(即 factor )。這應該是一個不帶引號的列名，盡管此參數是通過表達式傳遞的並且支持quasiquotation(您可以不帶引號的列名)。對於 _vec() 函數，一個 factor 向量。

estimate

預測類結果的列標識符(也是 factor )。與 truth 一樣，可以通過不同的方式指定，但主要方法是使用不帶引號的變量名稱。對於 _vec() 函數，一個 factor 向量。

weighting

計算分數時應用的權重。以下之一： "none" 、 "linear" 或 "quadratic" 。線性和二次加權會懲罰與真實值相差"far away"的mis-predictions。請注意，距離是根據 truth 和 estimate 中級別的順序來判斷的。建議為 truth 和 estimate 提供有序因子以顯式編碼排序，但這不是必需的。

在二進製情況下，所有 3 個權重產生相同的值，因為它隻可能與真實值相差 1 個單位。

na_rm

logical 值，指示在計算繼續之前是否應剝離 NA 值。

case_weights

案例權重的可選列標識符。這應該是一個不帶引號的列名稱，其計算結果為 data 中的數字列。對於 _vec() 函數，一個數值向量。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

對於分組 DataFrame ，返回的行數將與組數相同。

對於 kap_vec() ，單個 numeric 值(或 NA )。

多級

Kappa 自然地擴展到多類別場景。因此，未實現宏觀平均和微觀平均。

參考

科恩，J.(1960)。 “標稱尺度的一致性係數”。教育和心理測量。 20(1)：37-46。

科恩，J.(1968)。 “加權卡帕：針對規模分歧或部分信用的名義規模協議條款”。心理通報。 70(4)：213-220。

也可以看看

其他類指標：accuracy() , bal_accuracy() , detection_prevalence() , f_meas() , j_index() , mcc() , npv() , ppv() , precision() , recall() , sens() , spec()

作者

馬克斯·庫恩

喬恩·哈蒙

例子

library(dplyr)
data("two_class_example")
data("hpc_cv")

# Two class
kap(two_class_example, truth, predicted)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 kap     binary         0.675

# Multiclass
# kap() has a natural multiclass extension
hpc_cv %>%
  filter(Resample == "Fold01") %>%
  kap(obs, pred)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 kap     multiclass     0.533

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  kap(obs, pred)
#> # A tibble: 10 × 4
#>    Resample .metric .estimator .estimate
#>    <chr>    <chr>   <chr>          <dbl>
#>  1 Fold01   kap     multiclass     0.533
#>  2 Fold02   kap     multiclass     0.512
#>  3 Fold03   kap     multiclass     0.594
#>  4 Fold04   kap     multiclass     0.511
#>  5 Fold05   kap     multiclass     0.514
#>  6 Fold06   kap     multiclass     0.486
#>  7 Fold07   kap     multiclass     0.454
#>  8 Fold08   kap     multiclass     0.531
#>  9 Fold09   kap     multiclass     0.454
#> 10 Fold10   kap     multiclass     0.492

源代碼：R/class-kap.R

相關用法

注：本文由純淨天空篩選整理自Max Kuhn等大神的英文原創作品 Kappa。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。