R yardstick average_precision 查準率曲線下麵積

average_precision() 是 pr_auc() 的替代方案，它避免了當 recall == 0 時 precision 的值應該是什麽的任何歧義，並且還沒有任何誤報值(有人說它應該是 0 ，其他人說 1 ，其他人說未定義)。

它計算從 pr_curve() 返回的精度值的加權平均值，其中權重是召回率相對於先前閾值的增加。完整曲線請參見pr_curve()。

用法

average_precision(data, ...)

# S3 method for data.frame
average_precision(
  data,
  truth,
  ...,
  estimator = NULL,
  na_rm = TRUE,
  event_level = yardstick_event_level(),
  case_weights = NULL
)

average_precision_vec(
  truth,
  estimate,
  estimator = NULL,
  na_rm = TRUE,
  event_level = yardstick_event_level(),
  case_weights = NULL,
  ...
)

參數

data: 包含 truth 和 ... 指定的列的 data.frame 。
...: 一組不帶引號的列名稱或一個或多個 dplyr 選擇器函數，用於選擇哪些變量包含類概率。如果 truth 是二進製，則僅應選擇 1 列，並且它應對應於 event_level 的值。否則，列的數量應與 truth 的因子級別一樣多，並且列的順序應與 truth 的因子級別相同。
truth: 真實類結果的列標識符(即 factor )。這應該是一個不帶引號的列名，盡管此參數是通過表達式傳遞的並且支持quasiquotation(您可以不帶引號的列名)。對於 _vec() 函數，一個 factor 向量。
estimator: "binary" 、 "macro" 或 "macro_weighted" 之一指定要完成的平均類型。 "binary" 僅與兩類情況相關。另外兩個是計算多類指標的通用方法。默認會根據 truth 自動選擇 "binary" 或 "macro" 。
na_rm: logical 值，指示在計算繼續之前是否應剝離 NA 值。
event_level: 單個字符串。 "first" 或"second" 指定將truth 的哪個級別視為"event"。此參數僅適用於 estimator = "binary" 。默認使用內部幫助程序，通常默認為 "first" ，但是，如果設置了已棄用的全局選項 yardstick.event_first ，則將使用該幫助程序並發出警告。
case_weights: 案例權重的可選列標識符。這應該是一個不帶引號的列名稱，其計算結果為 data 中的數字列。對於 _vec() 函數，一個數值向量。
estimate: 如果truth是二進製的，對應於 "relevant" 類的類概率的數值向量。否則，矩陣的列數與因子級別一樣多truth.假設它們的順序與 truth 的級別相同。

值

tibble 包含列 .metric 、 .estimator 和 .estimate 以及 1 行值。

對於分組 DataFrame ，返回的行數將與組數相同。

對於 average_precision_vec() ，單個 numeric 值(或 NA )。

細節

平均精度的計算是精度值的加權平均值。假設您有從 pr_curve() 返回的 n 行，則它是從 2 到 n 的總和，將精度值 p_i 乘以超過先前閾值 r_i - r_(i-1) 的召回率增加值。

通過從2 到n 求和，精度值p_1 永遠不會被使用。雖然 pr_curve() 返回 p_1 的值，但從技術上講，它未定義為 tp / (tp + fp) 以及 tp = 0 和 fp = 0 。常見的約定是使用 1 代替 p_1 ，但該指標具有避免歧義的良好特性。另一方麵，隻要有一些事件(p)，r_1就定義良好，並且它是tp / p和tp = 0，所以r_1 = 0。

當 p_1 定義為 1 時，average_precision() 和 roc_auc() 值通常非常接近。

多級

此指標可使用宏觀平均和宏觀加權平均。如果提供了超過 2 個級別的 truth 因子，則默認選擇宏平均。否則，將進行標準二進製計算。有關詳細信息，請參閱vignette("multiclass", "yardstick")。

也可以看看

pr_curve() 用於計算全精度召回曲線。

pr_auc() 用於使用梯形規則計算精確召回曲線下的麵積。

其他類概率指標：brier_class() , classification_cost() , gain_capture() , mn_log_loss() , pr_auc() , roc_auc() , roc_aunp() , roc_aunu()

例子

# ---------------------------------------------------------------------------
# Two class example

# `truth` is a 2 level factor. The first level is `"Class1"`, which is the
# "event of interest" by default in yardstick. See the Relevant Level
# section above.
data(two_class_example)

# Binary metrics using class probabilities take a factor `truth` column,
# and a single class probability column containing the probabilities of
# the event of interest. Here, since `"Class1"` is the first level of
# `"truth"`, it is the event of interest and we pass in probabilities for it.
average_precision(two_class_example, truth, Class1)
#> # A tibble: 1 × 3
#>   .metric           .estimator .estimate
#>   <chr>             <chr>          <dbl>
#> 1 average_precision binary         0.947

# ---------------------------------------------------------------------------
# Multiclass example

# `obs` is a 4 level factor. The first level is `"VF"`, which is the
# "event of interest" by default in yardstick. See the Relevant Level
# section above.
data(hpc_cv)

# You can use the col1:colN tidyselect syntax
library(dplyr)
hpc_cv %>%
  filter(Resample == "Fold01") %>%
  average_precision(obs, VF:L)
#> # A tibble: 1 × 3
#>   .metric           .estimator .estimate
#>   <chr>             <chr>          <dbl>
#> 1 average_precision macro          0.617

# Change the first level of `obs` from `"VF"` to `"M"` to alter the
# event of interest. The class probability columns should be supplied
# in the same order as the levels.
hpc_cv %>%
  filter(Resample == "Fold01") %>%
  mutate(obs = relevel(obs, "M")) %>%
  average_precision(obs, M, VF:L)
#> # A tibble: 1 × 3
#>   .metric           .estimator .estimate
#>   <chr>             <chr>          <dbl>
#> 1 average_precision macro          0.617

# Groups are respected
hpc_cv %>%
  group_by(Resample) %>%
  average_precision(obs, VF:L)
#> # A tibble: 10 × 4
#>    Resample .metric           .estimator .estimate
#>    <chr>    <chr>             <chr>          <dbl>
#>  1 Fold01   average_precision macro          0.617
#>  2 Fold02   average_precision macro          0.625
#>  3 Fold03   average_precision macro          0.699
#>  4 Fold04   average_precision macro          0.685
#>  5 Fold05   average_precision macro          0.625
#>  6 Fold06   average_precision macro          0.656
#>  7 Fold07   average_precision macro          0.617
#>  8 Fold08   average_precision macro          0.659
#>  9 Fold09   average_precision macro          0.632
#> 10 Fold10   average_precision macro          0.611

# Weighted macro averaging
hpc_cv %>%
  group_by(Resample) %>%
  average_precision(obs, VF:L, estimator = "macro_weighted")
#> # A tibble: 10 × 4
#>    Resample .metric           .estimator     .estimate
#>    <chr>    <chr>             <chr>              <dbl>
#>  1 Fold01   average_precision macro_weighted     0.750
#>  2 Fold02   average_precision macro_weighted     0.745
#>  3 Fold03   average_precision macro_weighted     0.794
#>  4 Fold04   average_precision macro_weighted     0.757
#>  5 Fold05   average_precision macro_weighted     0.740
#>  6 Fold06   average_precision macro_weighted     0.747
#>  7 Fold07   average_precision macro_weighted     0.751
#>  8 Fold08   average_precision macro_weighted     0.759
#>  9 Fold09   average_precision macro_weighted     0.714
#> 10 Fold10   average_precision macro_weighted     0.742

# Vector version
# Supply a matrix of class probabilities
fold1 <- hpc_cv %>%
  filter(Resample == "Fold01")

average_precision_vec(
   truth = fold1$obs,
   matrix(
     c(fold1$VF, fold1$F, fold1$M, fold1$L),
     ncol = 4
   )
)
#> [1] 0.6173363

源代碼：R/prob-average_precision.R

相關用法

注：本文由純淨天空篩選整理自Max Kuhn等大神的英文原創作品 Area under the precision recall curve。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法

參數

值

細節

多級

相關級別

也可以看看

例子