當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

R yardstick recall 記起


這些函數計算測量係統的 recall()，用於查找與參考結果(相關性的真相)相比的相關文檔。高度相關的函數是 precision() 和 f_meas() 。

用法

recall(data, ...)

# S3 method for data.frame
recall(
  data,
  truth,
  estimate,
  estimator = NULL,
  na_rm = TRUE,
  case_weights = NULL,
  event_level = yardstick_event_level(),
  ...
)

recall_vec(
  truth,
  estimate,
  estimator = NULL,
  na_rm = TRUE,
  case_weights = NULL,
  event_level = yardstick_event_level(),
  ...
)

參數

data

包含 truth 和 estimate 參數指定的列的 data.frame，或者 table /matrix，其中真正的類結果應位於表的列中。

...

目前未使用。

truth

真實類結果的列標識符(即 factor )。這應該是一個不帶引號的列名，盡管此參數是通過表達式傳遞的並且支持quasiquotation(您可以不帶引號的列名)。對於 _vec() 函數，一個 factor 向量。

estimate

預測類結果的列標識符(也是 factor )。與 truth 一樣，可以通過不同的方式指定，但主要方法是使用不帶引號的變量名稱。對於 _vec() 函數，一個 factor 向量。

estimator

其中之一： "binary" 、 "macro" 、 "macro_weighted" 或 "micro" 指定要完成的平均類型。 "binary" 僅與兩類情況相關。其他三種是計算多類指標的通用方法。默認會根據 estimate 自動選擇 "binary" 或 "macro" 。

na_rm

logical 值，指示在計算繼續之前是否應剝離 NA 值。

case_weights

案例權重的可選列標識符。這應該是一個不帶引號的列名稱，其計算結果為 data 中的數字列。對於 _vec() 函數，一個數值向量。

event_level

單個字符串。 "first" 或"second" 指定將truth 的哪個級別視為"event"。此參數僅適用於 estimator = "binary" 。默認使用內部幫助程序，通常默認為 "first" ，但是，如果設置了已棄用的全局選項 yardstick.event_first ，則將使用該幫助程序並發出警告。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

對於分組 DataFrame ，返回的行數將與組數相同。

對於 recall_vec() ，單個 numeric 值(或 NA )。

細節

召回率(又稱敏感性)定義為相關結果占實際相關樣本數量的比例。當沒有相關結果時，不定義召回率，並返回值NA。

當計算的分母為 0 時，召回率未定義。當 # true_positive = 0 和 # false_negative = 0 都為 true 時會發生這種情況，這意味著沒有真實事件。計算二進製召回時，將返回 NA 值並帶有警告。計算多類召回率時，單個 NA 值將被刪除，計算將繼續進行，並發出警告。

相關級別

在計算二元分類指標時，對於哪個因子級別應自動被視為 "event" 或 "positive" 結果，沒有通用約定。在 yardstick 中，默認使用第一級。要更改此設置，請將參數 event_level 更改為 "second" 以將因子的最後一個級別視為感興趣級別。對於涉及 one-vs-all 比較(例如宏平均)的多類擴展，此選項將被忽略，並且 "one" 級別始終是相關結果。

多級

此指標可使用宏觀、微觀和宏觀加權平均。如果提供了超過 2 個級別的 truth 因子，則默認選擇宏平均。否則，將進行標準二進製計算。有關詳細信息，請參閱vignette("multiclass", "yardstick")。

執行

假設一個 2x2 表，其符號為：

Reference
PredictedRelevantIrrelevant
RelevantAB
IrrelevantCD

這裏使用的公式是：

recall = A/(A+C)

precision = A/(A+B)

F_{meas} = (1+\beta^2) * precision * recall/((\beta^2 * precision)+recall)

有關統計數據的討論，請參閱引用。

參考

巴克蘭，M.，和蓋伊，F. (1994)。召回率和精度之間的關係。美國信息科學學會雜誌，45(1), 12-19。

鮑爾斯，D.(2007)。評估：從精確率、召回率和 F 因子到 ROC、知情性、標記性和相關性。技術報告 SIE-07-001，弗林德斯大學

也可以看看

其他類指標：accuracy() , bal_accuracy() , detection_prevalence() , f_meas() , j_index() , kap() , mcc() , npv() , ppv() , precision() , sens() , spec()

其他相關性指標：f_meas()、precision()

作者

馬克斯·庫恩

例子

# Two class
data("two_class_example")
recall(two_class_example, truth, predicted)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 recall  binary         0.880

# Multiclass
library(dplyr)
data(hpc_cv)

hpc_cv %>%
  filter(Resample == "Fold01") %>%
  recall(obs, pred)
#> # A tibble: 1 × 3
#>   .metric .estimator .estimate
#>   <chr>   <chr>          <dbl>
#> 1 recall  macro          0.548

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  recall(obs, pred)
#> # A tibble: 10 × 4
#>    Resample .metric .estimator .estimate
#>    <chr>    <chr>   <chr>          <dbl>
#>  1 Fold01   recall  macro          0.548
#>  2 Fold02   recall  macro          0.541
#>  3 Fold03   recall  macro          0.634
#>  4 Fold04   recall  macro          0.570
#>  5 Fold05   recall  macro          0.550
#>  6 Fold06   recall  macro          0.540
#>  7 Fold07   recall  macro          0.531
#>  8 Fold08   recall  macro          0.584
#>  9 Fold09   recall  macro          0.568
#> 10 Fold10   recall  macro          0.537

# Weighted macro averaging
hpc_cv %>%
  group_by(Resample) %>%
  recall(obs, pred, estimator = "macro_weighted")
#> # A tibble: 10 × 4
#>    Resample .metric .estimator     .estimate
#>    <chr>    <chr>   <chr>              <dbl>
#>  1 Fold01   recall  macro_weighted     0.726
#>  2 Fold02   recall  macro_weighted     0.712
#>  3 Fold03   recall  macro_weighted     0.758
#>  4 Fold04   recall  macro_weighted     0.712
#>  5 Fold05   recall  macro_weighted     0.712
#>  6 Fold06   recall  macro_weighted     0.697
#>  7 Fold07   recall  macro_weighted     0.675
#>  8 Fold08   recall  macro_weighted     0.721
#>  9 Fold09   recall  macro_weighted     0.673
#> 10 Fold10   recall  macro_weighted     0.699

# Vector version
recall_vec(
  two_class_example$truth,
  two_class_example$predicted
)
#> [1] 0.879845

# Making Class2 the "relevant" level
recall_vec(
  two_class_example$truth,
  two_class_example$predicted,
  event_level = "second"
)
#> [1] 0.7933884
源代碼：R/class-recall.R

相關用法


注：本文由純淨天空篩選整理自Max Kuhn等大神的英文原創作品 Recall。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。