show_best()
显示排名靠前的 sub-models 及其性能估计。
用法
show_best(x, ...)
# S3 method for default
show_best(x, ...)
# S3 method for tune_results
show_best(x, metric = NULL, n = 5, ...)
select_best(x, ...)
# S3 method for default
select_best(x, ...)
# S3 method for tune_results
select_best(x, metric = NULL, ...)
select_by_pct_loss(x, ...)
# S3 method for default
select_by_pct_loss(x, ...)
# S3 method for tune_results
select_by_pct_loss(x, ..., metric = NULL, limit = 2)
select_by_one_std_err(x, ...)
# S3 method for default
select_by_one_std_err(x, ...)
# S3 method for tune_results
select_by_one_std_err(x, ..., metric = NULL)
参数
- x
-
tune_grid()
或tune_bayes()
的结果。 - ...
-
对于
select_by_one_std_err()
和select_by_pct_loss()
,此参数直接传递给dplyr::arrange()
,以便用户可以对模型从最简单到最复杂进行排序。也就是说,对于参数p
,如果p
的值较小表示模型较简单,则传递不带引号的表达式p
;如果值较大表示模型较简单,则传递desc(p)
。这两项函数至少需要一项。请参阅下面的示例。 - metric
-
将用于对模型进行排序的指标的字符值。 (有关更多详细信息,请参阅https://yardstick.tidymodels.org/articles/metric-types.html)。如果
x
中存在单个指标,则不需要。如果有多个指标但没有给出,则使用指标集中的第一个指标(并发出警告)。 - n
-
要返回的顶部结果/行数的整数。
- limit
-
可接受的性能损失限制(以百分比为单位)。请参阅下面的详细信息。
细节
select_best()
找到具有最佳性能值的调整参数组合。
select_by_one_std_err()
使用“one-standard 误差规则”(Breiman _el at,1984),该规则选择在数值最优结果的一个标准误差范围内的最简单模型。
select_by_pct_loss()
选择最简单的模型,其性能损失在某个可接受的范围内。
对于损失百分比,假设最佳模型的 RMSE 为 0.75,更简单的模型的 RMSE 为 1。损失百分比为 (1.00 - 0.75)/1.00 * 100
或 25%。请注意,损失始终为非负数。
例子
data("example_ames_knn")
show_best(ames_iter_search, metric = "rmse")
#> # A tibble: 5 × 12
#> K weight_func dist_power lon lat .metric .estimator mean n
#> <int> <chr> <dbl> <int> <int> <chr> <chr> <dbl> <int>
#> 1 33 triweight 0.511 10 3 rmse standard 0.0728 10
#> 2 5 rank 0.411 2 7 rmse standard 0.0740 10
#> 3 21 triweight 0.909 10 4 rmse standard 0.0742 10
#> 4 21 cos 0.626 1 4 rmse standard 0.0746 10
#> 5 19 inv 0.117 1 4 rmse standard 0.0758 10
#> # ℹ 3 more variables: std_err <dbl>, .config <chr>, .iter <int>
select_best(ames_iter_search, metric = "rsq")
#> # A tibble: 1 × 6
#> K weight_func dist_power lon lat .config
#> <int> <chr> <dbl> <int> <int> <chr>
#> 1 33 triweight 0.511 10 3 Preprocessor10_Model1
# To find the least complex model within one std error of the numerically
# optimal model, the number of nearest neighbors are sorted from the largest
# number of neighbors (the least complex class boundary) to the smallest
# (corresponding to the most complex model).
select_by_one_std_err(ames_grid_search, metric = "rmse", desc(K))
#> # A tibble: 1 × 13
#> K weight_func dist_power lon lat .metric .estimator mean n
#> <int> <chr> <dbl> <int> <int> <chr> <chr> <dbl> <int>
#> 1 33 triweight 0.511 10 3 rmse standard 0.0728 10
#> # ℹ 4 more variables: std_err <dbl>, .config <chr>, .best <dbl>,
#> # .bound <dbl>
# Now find the least complex model that has no more than a 5% loss of RMSE:
select_by_pct_loss(
ames_grid_search,
metric = "rmse",
limit = 5, desc(K)
)
#> # A tibble: 1 × 13
#> K weight_func dist_power lon lat .metric .estimator mean n
#> <int> <chr> <dbl> <int> <int> <chr> <chr> <dbl> <int>
#> 1 33 triweight 0.511 10 3 rmse standard 0.0728 10
#> # ℹ 4 more variables: std_err <dbl>, .config <chr>, .best <dbl>,
#> # .loss <dbl>
相关用法
- R tune coord_obs_pred 对观察值与预测值的绘图使用相同的比例
- R tune extract-tune 提取调整对象的元素
- R tune filter_parameters 删除一些调整参数结果
- R tune fit_best 将模型拟合到数值最优配置
- R tune conf_mat_resampled 计算重采样的平均混淆矩阵
- R tune finalize_model 将最终参数拼接到对象中
- R tune tune_bayes 模型参数的贝叶斯优化。
- R tune collect_predictions 获取并格式化由调整函数产生的结果
- R tune expo_decay 指数衰减函数
- R tune fit_resamples 通过重采样拟合多个模型
- R tune merge.recipe 将参数网格值合并到对象中
- R tune autoplot.tune_results 绘图调整搜索结果
- R tune tune_grid 通过网格搜索进行模型调整
- R tune dot-use_case_weights_with_yardstick 确定案例权重是否应传递至标准
- R tune message_wrap 写一条尊重线宽的消息
- R tune prob_improve 用于对参数组合进行评分的获取函数
- R tune last_fit 将最终的最佳模型拟合到训练集并评估测试集
- R update_PACKAGES 更新现有的 PACKAGES 文件
- R textrecipes tokenlist 创建令牌对象
- R themis smotenc SMOTENC算法
- R print.via.format 打印实用程序
- R tibble tibble 构建 DataFrame 架
- R tidyr separate_rows 将折叠的列分成多行
- R textrecipes step_lemma 标记变量的词形还原
- R textrecipes show_tokens 显示配方的令牌输出
注:本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Investigate best tuning parameters。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。