Python sklearn SGDRegressor用法及代码示例

本文简要介绍python语言中 sklearn.linear_model.SGDRegressor 的用法。

用法:

class sklearn.linear_model.SGDRegressor(loss='squared_error', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)

通过使用 SGD 最小化正则化经验损失来拟合线性模型。

SGD 代表 Stochastic Gradient Descent：每次估计每个样本的损失梯度，并且模型随着强度计划(也称为学习率)的递减而不断更新。

正则化器是添加到损失函数的惩罚项，它使用平方欧几里德范数 L2 或绝对范数 L1 或两者的组合(弹性网络)将模型参数缩小到零向量。如果由于正则化器的原因参数更新超过 0.0 值，则更新被截断为 0.0 以允许学习稀疏模型并实现在线特征选择。

此实现适用于表示为特征浮点值的密集 numpy 数组的数据。

在用户指南中阅读更多信息。

参数：

loss：str，默认='squared_error'

要使用的损失函数。可能的值为 ‘squared_error’, ‘huber’、‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’

‘squared_error’ 指的是普通的最小二乘拟合。 ‘huber’ 修改 ‘squared_error’，通过从平方损失切换到超过 epsilon 距离的线性损失来减少对异常值的关注。 ‘epsilon_insensitive’ 忽略小于 epsilon 的错误，并且超过 epsilon 是线性的；这是 SVR 中使用的损失函数。 ‘squared_epsilon_insensitive’ 是相同的，但在 epsilon 容差后变为平方损失。

有关损失公式的更多详细信息，请参阅用户指南。

penalty：{‘l2’, ‘l1’，‘elasticnet’}，默认='l2'

要使用的惩罚(又名正则化项)。默认为 ‘l2’，这是线性 SVM 模型的标准正则化器。 ‘l1’ 和 ‘elasticnet’ 可能会给模型带来稀疏性(特征选择)，这是 ‘l2’ 无法实现的。

alpha：浮点数，默认=0.0001

乘以正则化项的常数。值越高，正则化越强。当设置为 learning_rate 设置为 ‘optimal’ 时，也用于计算学习率。

l1_ratio：浮点数，默认=0.15

Elastic Net 混合参数，0 <= l1_ratio <= 1。l1_ratio=0 对应 L2 惩罚，l1_ratio=1 对应 L1。仅在 penalty 为 ‘elasticnet’ 时使用。

fit_intercept：布尔，默认=真

是否应该估计截距。如果为 False，则假定数据已经居中。

max_iter：整数，默认=1000

训练数据的最大传递次数(又名 epochs)。它只影响fit 方法中的行为，而不影响partial_fit 方法中的行为。

tol：浮点数，默认=1e-3

停止标准。如果它不是无，训练将在 (loss > best_loss - tol) 为 n_iter_no_change 连续时期停止。根据 early_stopping 参数检查收敛性与训练损失或验证损失。

shuffle：布尔，默认=真

是否应该在每个 epoch 之后对训练数据进行洗牌。

verbose：整数，默认=0

详细程度。

epsilon：浮点数，默认=0.1

epsilon-insensitive 损失函数中的 Epsilon；仅当 loss 为 ‘huber’, ‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 时。对于‘huber’，确定使预测完全正确变得不那么重要的阈值。对于epsilon-insensitive，如果当前预测和正确标签之间的差异小于此阈值，则忽略它们。

random_state：int，RandomState 实例，默认=无

当 shuffle 设置为 True 时，用于混洗数据。传递 int 以获得跨多个函数调用的可重现输出。请参阅词汇表。

learning_rate：str，默认='invscaling'

学习率时间表：

• ‘constant’：eta = eta0

• ‘optimal’：eta = 1.0 / (alpha * (t + t0)) 其中 t0 由 Leon Bottou 提出的启发式方法选择。

• ‘invscaling’：eta = eta0 / pow(t, power_t)

• ‘adaptive’：eta = eta0，只要训练不断减少。如果 early_stopping 为 True，则每次 n_iter_no_change 个连续 epoch 未能将训练损失减少 tol 或未能将验证分数增加 tol，则当前学习率除以 5。

eta0：浮点数，默认=0.01

‘constant’, ‘invscaling’ 或 ‘adaptive’ 计划的初始学习率。默认值为 0.01。

power_t：浮点数，默认=0.25

逆缩放学习率的 index 。

early_stopping：布尔，默认=假

当验证分数没有提高时，是否使用提前停止来终止训练。如果设置为 True，它将自动留出一部分训练数据作为验证，并在 score 方法返回的验证分数在 n_iter_no_change 连续 epoch 中没有提高至少 tol 时终止训练。

validation_fraction：浮点数，默认=0.1

留出作为提前停止验证集的训练数据的比例。必须介于 0 和 1 之间。仅在 early_stopping 为 True 时使用。

n_iter_no_change：整数，默认=5

在停止拟合之前等待没有改进的迭代次数。根据 early_stopping 参数检查收敛性与训练损失或验证损失。

warm_start：布尔，默认=假

当设置为 True 时，重用之前调用的解决方案作为初始化，否则，只需擦除之前的解决方案。请参阅词汇表。

当 warm_start 为 True 时重复调用 fit 或 partial_fit 可能会导致与单次调用 fit 时不同的解决方案，因为数据被打乱的方式。如果使用动态学习率，则根据已经看到的样本数量调整学习率。调用fit 重置此计数器，而partial_fit 将导致增加现有计数器。

average：bool 或 int，默认 = False

设置为 True 时，计算所有更新的平均 SGD 权重，并将结果存储在 coef_ 属性中。如果设置为大于 1 的 int，则在看到的样本总数达到 average 时将开始平均。所以average=10 将在看到 10 个样本后开始平均。

属性：

coef_：ndarray 形状 (n_features,)

分配给特征的权重。

intercept_：ndarray 形状 (1,)

截距项。

n_iter_：int

达到停止标准之前的实际迭代次数。

t_：int

训练期间执行的权重更新次数。与 (n_iter_ * n_samples) 相同。

n_features_in_：int

拟合期间看到的特征数。

feature_names_in_：ndarray 形状(n_features_in_，)

拟合期间看到的特征名称。仅当 X 具有全为字符串的函数名称时才定义。

例子：

>>> import numpy as np
>>> from sklearn.linear_model import SGDRegressor
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.preprocessing import StandardScaler
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> reg = make_pipeline(StandardScaler(),
...                     SGDRegressor(max_iter=1000, tol=1e-3))
>>> reg.fit(X, y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdregressor', SGDRegressor())])