R workflowsets rank_results 按指标对结果进行排名

此函数按特定性能指标对结果进行排序。

用法

rank_results(x, rank_metric = NULL, select_best = FALSE)

参数

x: 已使用 workflow_map() 求值的 workflow_set 对象。
rank_metric: 指标的字符串。
select_best: 逻辑给出结果是否应仅包含每个工作流程中数值上最好的子模型。

值

包含列的小标题： wflow_id , .config , .metric , mean , std_err , n , preprocessor , model 和 rank 。

细节

如果某些模型具有完全相同的性能，则使用rank(value, ties.method = "random")(带有可重现的种子)，以便所有排名都是整数。

不会返回调整参数的列，因为它们对于某些模型可能不同(或不存在)。 wflow_id 和.config 列可用于确定相应的参数值。

注意

该软件包提供两个预生成的工作流程集 two_class_set 和 chi_features_set ，以及适合 two_class_res 和 chi_features_res 的相关模型集。

two_class_* 对象基于使用 modeldata 包中的 two_class_dat 数据的二元分类问题。这六个模型利用裸公式或基本配方，利用 recipes::step_YeoJohnson() 作为预处理器，以及决策树、逻辑回归或 MARS 模型规范。有关源代码，请参阅?two_class_set。

chi_features_* 对象基于使用 modeldata 包中的 Chicago 数据的回归问题。这三个模型均采用线性回归模型规范，具有不同复杂性的三种不同配方。这些对象旨在近似 Kuhn 和 Johnson (2019) 第 1.3 节中构建的模型序列。有关源代码，请参阅?chi_features_set。

例子

chi_features_res
#> # A workflow set/tibble: 3 × 4
#>   wflow_id         info             option    result   
#>   <chr>            <list>           <list>    <list>   
#> 1 date_lm          <tibble [1 × 4]> <opts[2]> <rsmp[+]>
#> 2 plus_holidays_lm <tibble [1 × 4]> <opts[2]> <rsmp[+]>
#> 3 plus_pca_lm      <tibble [1 × 4]> <opts[3]> <tune[+]>

rank_results(chi_features_res)
#> # A tibble: 40 × 9
#>    wflow_id   .config .metric  mean std_err     n preprocessor model  rank
#>    <chr>      <chr>   <chr>   <dbl>   <dbl> <int> <chr>        <chr> <int>
#>  1 plus_pca_… Prepro… rmse    0.574      NA     1 recipe       line…     1
#>  2 plus_pca_… Prepro… rsq     0.989      NA     1 recipe       line…     1
#>  3 plus_pca_… Prepro… rmse    0.586      NA     1 recipe       line…     2
#>  4 plus_pca_… Prepro… rsq     0.989      NA     1 recipe       line…     2
#>  5 plus_pca_… Prepro… rmse    0.590      NA     1 recipe       line…     3
#>  6 plus_pca_… Prepro… rsq     0.988      NA     1 recipe       line…     3
#>  7 plus_pca_… Prepro… rmse    0.591      NA     1 recipe       line…     4
#>  8 plus_pca_… Prepro… rsq     0.988      NA     1 recipe       line…     4
#>  9 plus_pca_… Prepro… rmse    0.594      NA     1 recipe       line…     5
#> 10 plus_pca_… Prepro… rsq     0.989      NA     1 recipe       line…     5
#> # ℹ 30 more rows
rank_results(chi_features_res, select_best = TRUE)
#> # A tibble: 6 × 9
#>   wflow_id    .config .metric  mean std_err     n preprocessor model  rank
#>   <chr>       <chr>   <chr>   <dbl>   <dbl> <int> <chr>        <chr> <int>
#> 1 plus_pca_lm Prepro… rmse    0.574      NA     1 recipe       line…     1
#> 2 plus_pca_lm Prepro… rsq     0.989      NA     1 recipe       line…     1
#> 3 plus_holid… Prepro… rmse    0.646      NA     1 recipe       line…     2
#> 4 plus_holid… Prepro… rsq     0.986      NA     1 recipe       line…     2
#> 5 date_lm     Prepro… rmse    0.733      NA     1 recipe       line…     3
#> 6 date_lm     Prepro… rsq     0.982      NA     1 recipe       line…     3
rank_results(chi_features_res, rank_metric = "rsq")
#> # A tibble: 40 × 9
#>    wflow_id   .config .metric  mean std_err     n preprocessor model  rank
#>    <chr>      <chr>   <chr>   <dbl>   <dbl> <int> <chr>        <chr> <int>
#>  1 plus_pca_… Prepro… rmse    0.594      NA     1 recipe       line…     1
#>  2 plus_pca_… Prepro… rsq     0.989      NA     1 recipe       line…     1
#>  3 plus_pca_… Prepro… rmse    0.574      NA     1 recipe       line…     2
#>  4 plus_pca_… Prepro… rsq     0.989      NA     1 recipe       line…     2
#>  5 plus_pca_… Prepro… rmse    0.586      NA     1 recipe       line…     3
#>  6 plus_pca_… Prepro… rsq     0.989      NA     1 recipe       line…     3
#>  7 plus_pca_… Prepro… rmse    0.591      NA     1 recipe       line…     4
#>  8 plus_pca_… Prepro… rsq     0.988      NA     1 recipe       line…     4
#>  9 plus_pca_… Prepro… rmse    0.590      NA     1 recipe       line…     5
#> 10 plus_pca_… Prepro… rsq     0.988      NA     1 recipe       line…     5
#> # ℹ 30 more rows

源代码：R/rank_results.R

相关用法

注：本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Rank the results by a metric。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。