Python sklearn AdaBoostRegressor用法及代码示例

本文简要介绍python语言中 sklearn.ensemble.AdaBoostRegressor 的用法。

用法:

class sklearn.ensemble.AdaBoostRegressor(base_estimator=None, *, n_estimators=50, learning_rate=1.0, loss='linear', random_state=None)

AdaBoost 回归量。

AdaBoost [1] 回归器是一个 meta-estimator，它首先在原始数据集上拟合回归器，然后在同一数据集上拟合回归器的其他副本，但实例的权重会根据当前的误差进行调整预言。因此，后续的回归器更多地关注困难的案例。

此类实现称为 AdaBoost.R2 [2] 的算法。

在用户指南中阅读更多信息。

参数：

base_estimator：对象，默认=无

构建增强集成的基本估计器。如果 None ，则基本估计量是 DecisionTreeRegressor 用 max_depth=3 初始化。

n_estimators：整数，默认=50

终止提升的估计器的最大数量。在完美契合的情况下，学习过程会提前停止。

learning_rate：浮点数，默认=1.0

在每次提升迭代中应用于每个回归器的权重。更高的学习率会增加每个回归器的贡献。 learning_rate 和 n_estimators 参数之间存在折衷。

loss：{‘linear’, ‘square’, ‘exponential’}，默认='线性'

每次提升迭代后更新权重时使用的损失函数。

random_state：int、RandomState 实例或无，默认=无

在每次提升迭代中控制在每个 base_estimator 处给出的随机种子。因此，它仅在 base_estimator 公开 random_state 时使用。此外，它还控制每次提升迭代中用于训练base_estimator 的权重的引导。传递 int 以获得跨多个函数调用的可重现输出。请参阅词汇表。

属性：

base_estimator_：估计器

生成集成的基本估计量。

estimators_：回归器列表

拟合sub-estimators 的集合。

estimator_weights_：浮点数数组

增强集成中每个估计器的权重。

estimator_errors_：浮点数数组

增强集成中每个估计器的回归误差。

feature_importances_ndarray 形状 (n_features,)

基于杂质的特征重要性。

n_features_in_：int

拟合期间看到的特征数。

feature_names_in_：ndarray 形状(n_features_in_，)

拟合期间看到的特征名称。仅当 X 具有全为字符串的函数名称时才定义。

参考：

1

Y. Freund, R. Schapire，“on-Line 学习的 Decision-Theoretic 泛化和提升的应用”，1995 年。

2

8. Drucker，“使用 Boosting 技术改进回归量”，1997 年。

例子：

>>> from sklearn.ensemble import AdaBoostRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_features=4, n_informative=2,
...                        random_state=0, shuffle=False)
>>> regr = AdaBoostRegressor(random_state=0, n_estimators=100)
>>> regr.fit(X, y)
AdaBoostRegressor(n_estimators=100, random_state=0)
>>> regr.predict([[0, 0, 0, 0]])
array([4.7972...])
>>> regr.score(X, y)
0.9771...