用法
j_index(data, ...)
# S3 method for data.frame
j_index(
data,
truth,
estimate,
estimator = NULL,
na_rm = TRUE,
case_weights = NULL,
event_level = yardstick_event_level(),
...
)
j_index_vec(
truth,
estimate,
estimator = NULL,
na_rm = TRUE,
case_weights = NULL,
event_level = yardstick_event_level(),
...
)
参数
- data
-
包含
truth
和estimate
参数指定的列的data.frame
,或者table
/matrix
,其中真正的类结果应位于表的列中。 - ...
-
目前未使用。
- truth
-
真实类结果的列标识符(即
factor
)。这应该是一个不带引号的列名,尽管此参数是通过表达式传递的并且支持quasiquotation(您可以不带引号的列名)。对于_vec()
函数,一个factor
向量。 - estimate
-
预测类结果的列标识符(也是
factor
)。与truth
一样,可以通过不同的方式指定,但主要方法是使用不带引号的变量名称。对于_vec()
函数,一个factor
向量。 - estimator
-
其中之一:
"binary"
、"macro"
、"macro_weighted"
或"micro"
指定要完成的平均类型。"binary"
仅与两类情况相关。其他三种是计算多类指标的通用方法。默认会根据estimate
自动选择"binary"
或"macro"
。 - na_rm
-
logical
值,指示在计算继续之前是否应剥离NA
值。 - case_weights
-
案例权重的可选列标识符。这应该是一个不带引号的列名称,其计算结果为
data
中的数字列。对于_vec()
函数,一个数值向量。 - event_level
-
单个字符串。
"first"
或"second"
指定将truth
的哪个级别视为"event"。此参数仅适用于estimator = "binary"
。默认使用内部帮助程序,通常默认为"first"
,但是,如果设置了已弃用的全局选项yardstick.event_first
,则将使用该帮助程序并发出警告。
值
tibble
包含列 .metric
、 .estimator
和 .estimate
以及 1 行值。
对于分组 DataFrame ,返回的行数将与组数相同。
对于 j_index_vec()
,单个 numeric
值(或 NA
)。
细节
J-index的取值范围为[0, 1],无误报、无漏报时为1
。
J-index的二进制版本相当于信息丰富的二进制概念。宏观加权 J-index 相当于 Powers, David M W (2011) 等式 (42) 中定义的多类信息。
相关级别
在计算二元分类指标时,对于哪个因子级别应自动被视为 "event" 或 "positive" 结果,没有通用约定。在 yardstick
中,默认使用第一级。要更改此设置,请将参数 event_level
更改为 "second"
以将因子的最后一个级别视为感兴趣级别。对于涉及 one-vs-all 比较(例如宏平均)的多类扩展,此选项将被忽略,并且 "one" 级别始终是相关结果。
多级
此指标可使用宏观、微观和宏观加权平均。如果提供了超过 2 个级别的 truth
因子,则默认选择宏平均。否则,将进行标准二进制计算。有关详细信息,请参阅vignette("multiclass", "yardstick")
。
参考
尤登,W.J. (1950)。 “诊断测试评级索引”。癌症。 3:32-35。
鲍尔斯,大卫·M·W (2011)。 “评估:从精确度、召回率和 F-Score 到 ROC、知情性、标记性和相关性”。机器学习技术杂志。 2(1):37-63。
例子
# Two class
data("two_class_example")
j_index(two_class_example, truth, predicted)
#> # A tibble: 1 × 3
#> .metric .estimator .estimate
#> <chr> <chr> <dbl>
#> 1 j_index binary 0.673
# Multiclass
library(dplyr)
data(hpc_cv)
hpc_cv %>%
filter(Resample == "Fold01") %>%
j_index(obs, pred)
#> # A tibble: 1 × 3
#> .metric .estimator .estimate
#> <chr> <chr> <dbl>
#> 1 j_index macro 0.434
# Groups are respected
hpc_cv %>%
group_by(Resample) %>%
j_index(obs, pred)
#> # A tibble: 10 × 4
#> Resample .metric .estimator .estimate
#> <chr> <chr> <chr> <dbl>
#> 1 Fold01 j_index macro 0.434
#> 2 Fold02 j_index macro 0.422
#> 3 Fold03 j_index macro 0.533
#> 4 Fold04 j_index macro 0.449
#> 5 Fold05 j_index macro 0.431
#> 6 Fold06 j_index macro 0.413
#> 7 Fold07 j_index macro 0.398
#> 8 Fold08 j_index macro 0.468
#> 9 Fold09 j_index macro 0.435
#> 10 Fold10 j_index macro 0.412
# Weighted macro averaging
hpc_cv %>%
group_by(Resample) %>%
j_index(obs, pred, estimator = "macro_weighted")
#> # A tibble: 10 × 4
#> Resample .metric .estimator .estimate
#> <chr> <chr> <chr> <dbl>
#> 1 Fold01 j_index macro_weighted 0.542
#> 2 Fold02 j_index macro_weighted 0.527
#> 3 Fold03 j_index macro_weighted 0.597
#> 4 Fold04 j_index macro_weighted 0.515
#> 5 Fold05 j_index macro_weighted 0.524
#> 6 Fold06 j_index macro_weighted 0.492
#> 7 Fold07 j_index macro_weighted 0.466
#> 8 Fold08 j_index macro_weighted 0.535
#> 9 Fold09 j_index macro_weighted 0.468
#> 10 Fold10 j_index macro_weighted 0.501
# Vector version
j_index_vec(
two_class_example$truth,
two_class_example$predicted
)
#> [1] 0.6732334
# Making Class2 the "relevant" level
j_index_vec(
two_class_example$truth,
two_class_example$predicted,
event_level = "second"
)
#> [1] 0.6732334
相关用法
- R yardstick pr_auc 查准率曲线下面积
- R yardstick accuracy 准确性
- R yardstick gain_capture 增益捕获
- R yardstick pr_curve 精确率召回曲线
- R yardstick conf_mat 分类数据的混淆矩阵
- R yardstick mn_log_loss 多项数据的平均对数损失
- R yardstick rpd 性能与偏差之比
- R yardstick mae 平均绝对误差
- R yardstick detection_prevalence 检测率
- R yardstick bal_accuracy 平衡的精度
- R yardstick rpiq 绩效与四分位间的比率
- R yardstick roc_aunp 使用先验类别分布,每个类别相对于其他类别的 ROC 曲线下面积
- R yardstick roc_curve 接收者算子曲线
- R yardstick rsq R 平方
- R yardstick msd 平均符号偏差
- R yardstick mpe 平均百分比误差
- R yardstick iic 相关性理想指数
- R yardstick recall 记起
- R yardstick roc_aunu 使用均匀类别分布,每个类别相对于其他类别的 ROC 曲线下面积
- R yardstick npv 阴性预测值
- R yardstick rmse 均方根误差
- R yardstick sens 灵敏度
- R yardstick rsq_trad R 平方 - 传统
- R yardstick poisson_log_loss 泊松数据的平均对数损失
- R yardstick ppv 阳性预测值
注:本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 J-index。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。