当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

R yardstick recall 记起


这些函数计算测量系统的 recall()，用于查找与参考结果(相关性的真相)相比的相关文档。高度相关的函数是 precision() 和 f_meas() 。

用法

recall(data, ...)

# S3 method for data.frame
recall(
  data,
  truth,
  estimate,
  estimator = NULL,
  na_rm = TRUE,
  case_weights = NULL,
  event_level = yardstick_event_level(),
  ...
)

recall_vec(
  truth,
  estimate,
  estimator = NULL,
  na_rm = TRUE,
  case_weights = NULL,
  event_level = yardstick_event_level(),
  ...
)

参数

data

包含 truth 和 estimate 参数指定的列的 data.frame，或者 table /matrix，其中真正的类结果应位于表的列中。

...

目前未使用。

truth

真实类结果的列标识符(即 factor )。这应该是一个不带引号的列名，尽管此参数是通过表达式传递的并且支持quasiquotation(您可以不带引号的列名)。对于 _vec() 函数，一个 factor 向量。

estimate

预测类结果的列标识符(也是 factor )。与 truth 一样，可以通过不同的方式指定，但主要方法是使用不带引号的变量名称。对于 _vec() 函数，一个 factor 向量。

estimator

其中之一： "binary" 、 "macro" 、 "macro_weighted" 或 "micro" 指定要完成的平均类型。 "binary" 仅与两类情况相关。其他三种是计算多类指标的通用方法。默认会根据 estimate 自动选择 "binary" 或 "macro" 。

na_rm

logical 值，指示在计算继续之前是否应剥离 NA 值。

case_weights

案例权重的可选列标识符。这应该是一个不带引号的列名称，其计算结果为 data 中的数字列。对于 _vec() 函数，一个数值向量。

event_level

单个字符串。 "first" 或"second" 指定将truth 的哪个级别视为"event"。此参数仅适用于 estimator = "binary" 。默认使用内部帮助程序，通常默认为 "first" ，但是，如果设置了已弃用的全局选项 yardstick.event_first ，则将使用该帮助程序并发出警告。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

对于分组 DataFrame ，返回的行数将与组数相同。

对于 recall_vec() ，单个 numeric 值(或 NA )。

细节

召回率(又称敏感性)定义为相关结果占实际相关样本数量的比例。当没有相关结果时，不定义召回率，并返回值NA。

当计算的分母为 0 时，召回率未定义。当 # true_positive = 0 和 # false_negative = 0 都为 true 时会发生这种情况，这意味着没有真实事件。计算二进制召回时，将返回 NA 值并带有警告。计算多类召回率时，单个 NA 值将被删除，计算将继续进行，并发出警告。

相关级别

在计算二元分类指标时，对于哪个因子级别应自动被视为 "event" 或 "positive" 结果，没有通用约定。在 yardstick 中，默认使用第一级。要更改此设置，请将参数 event_level 更改为 "second" 以将因子的最后一个级别视为感兴趣级别。对于涉及 one-vs-all 比较(例如宏平均)的多类扩展，此选项将被忽略，并且 "one" 级别始终是相关结果。

多级

此指标可使用宏观、微观和宏观加权平均。如果提供了超过 2 个级别的 truth 因子，则默认选择宏平均。否则，将进行标准二进制计算。有关详细信息，请参阅vignette("multiclass", "yardstick")。

执行

假设一个 2x2 表，其符号为：

Reference
PredictedRelevantIrrelevant
RelevantAB
IrrelevantCD

这里使用的公式是：

recall = A/(A+C)

precision = A/(A+B)

F_{meas} = (1+\beta^2) * precision * recall/((\beta^2 * precision)+recall)

有关统计数据的讨论，请参阅引用。

参考

巴克兰，M.，和盖伊，F. (1994)。召回率和精度之间的关系。美国信息科学学会杂志，45(1), 12-19。

鲍尔斯，D.(2007)。评估：从精确率、召回率和 F 因子到 ROC、知情性、标记性和相关性。技术报告 SIE-07-001，弗林德斯大学

也可以看看

其他类指标：accuracy() , bal_accuracy() , detection_prevalence() , f_meas() , j_index() , kap() , mcc() , npv() , ppv() , precision() , sens() , spec()

其他相关性指标：f_meas()、precision()

作者

马克斯·库恩

例子

# Two class
data("two_class_example")
recall(two_class_example, truth, predicted)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 recall  binary         0.880

# Multiclass
library(dplyr)
data(hpc_cv)

hpc_cv %>%
  filter(Resample == "Fold01") %>%
  recall(obs, pred)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 recall  macro          0.548

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  recall(obs, pred)
#> # A tibble: 10 × 4
#>    Resample .metric .estimator .estimate
#>    <chr>    <chr>   <chr>          <dbl>
#>  1 Fold01   recall  macro          0.548
#>  2 Fold02   recall  macro          0.541
#>  3 Fold03   recall  macro          0.634
#>  4 Fold04   recall  macro          0.570
#>  5 Fold05   recall  macro          0.550
#>  6 Fold06   recall  macro          0.540
#>  7 Fold07   recall  macro          0.531
#>  8 Fold08   recall  macro          0.584
#>  9 Fold09   recall  macro          0.568
#> 10 Fold10   recall  macro          0.537

# Weighted macro averaging
hpc_cv %>%
  group_by(Resample) %>%
  recall(obs, pred, estimator = "macro_weighted")
#> # A tibble: 10 × 4
#>    Resample .metric .estimator     .estimate
#>    <chr>    <chr>   <chr>              <dbl>
#>  1 Fold01   recall  macro_weighted     0.726
#>  2 Fold02   recall  macro_weighted     0.712
#>  3 Fold03   recall  macro_weighted     0.758
#>  4 Fold04   recall  macro_weighted     0.712
#>  5 Fold05   recall  macro_weighted     0.712
#>  6 Fold06   recall  macro_weighted     0.697
#>  7 Fold07   recall  macro_weighted     0.675
#>  8 Fold08   recall  macro_weighted     0.721
#>  9 Fold09   recall  macro_weighted     0.673
#> 10 Fold10   recall  macro_weighted     0.699

# Vector version
recall_vec(
  two_class_example$truth,
  two_class_example$predicted
)
#> [1] 0.879845

# Making Class2 the "relevant" level
recall_vec(
  two_class_example$truth,
  two_class_example$predicted,
  event_level = "second"
)
#> [1] 0.7933884
源代码：R/class-recall.R

相关用法


注：本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Recall。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。