Python sklearn SGDClassifier用法及代码示例

本文简要介绍python语言中 sklearn.linear_model.SGDClassifier 的用法。

用法:

class sklearn.linear_model.SGDClassifier(loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)

带有 SGD 训练的线性分类器(SVM、逻辑回归等)。

该估计器使用随机梯度下降 (SGD) 学习实现正则化线性模型：每次估计每个样本的损失梯度，并且模型随着强度计划的递减(也称为学习率)不断更新。 SGD 允许通过partial_fit 方法进行小批量(在线/out-of-core)学习。为了使用默认学习率计划获得最佳结果，数据应具有零均值和单位方差。

此实现适用于表示为特征的密集或稀疏浮点值数组的数据。它拟合的模型可以用损失参数来控制；默认情况下，它适合线性支持向量机 (SVM)。

正则化器是添加到损失函数的惩罚项，它使用平方欧几里德范数 L2 或绝对范数 L1 或两者的组合(弹性网络)将模型参数缩小到零向量。如果由于正则化器的原因参数更新超过 0.0 值，则更新被截断为 0.0 以允许学习稀疏模型并实现在线特征选择。

在用户指南中阅读更多信息。

参数：

loss：str，默认='铰链'

要使用的损失函数。默认为‘hinge’，它给出了一个线性 SVM。

可能的选项是‘hinge’, ‘log’、‘modified_huber’, ‘squared_hinge’、‘perceptron’，或回归损失：‘squared_error’, ‘huber’、‘epsilon_insensitive’或‘squared_epsilon_insensitive’。

‘log’ 损失给出了逻辑回归，一种概率分类器。 ‘modified_huber’ 是另一个平滑损失，它可以容忍异常值以及概率估计。 ‘squared_hinge’ 类似于铰链，但受到二次惩罚。 ‘perceptron’ 是感知器算法使用的线性损失。其他损失是为回归设计的，但也可用于分类；有关说明，请参见 SGDRegressor 。

有关损失公式的更多详细信息，请参阅用户指南。

penalty：{‘l2’, ‘l1’，‘elasticnet’}，默认='l2'

要使用的惩罚(又名正则化项)。默认为 ‘l2’，这是线性 SVM 模型的标准正则化器。 ‘l1’ 和 ‘elasticnet’ 可能会给模型带来稀疏性(特征选择)，这是 ‘l2’ 无法实现的。

alpha：浮点数，默认=0.0001

乘以正则化项的常数。值越高，正则化越强。当设置为 learning_rate 设置为 ‘optimal’ 时，也用于计算学习率。

l1_ratio：浮点数，默认=0.15

Elastic Net 混合参数，0 <= l1_ratio <= 1。l1_ratio=0 对应 L2 惩罚，l1_ratio=1 对应 L1。仅在 penalty 为 ‘elasticnet’ 时使用。

fit_intercept：布尔，默认=真

是否应该估计截距。如果为 False，则假定数据已经居中。

max_iter：整数，默认=1000

训练数据的最大传递次数(又名 epochs)。它只影响fit 方法中的行为，而不影响partial_fit 方法中的行为。

tol：浮点数，默认=1e-3

停止标准。如果它不是无，训练将在 (loss > best_loss - tol) 为 n_iter_no_change 连续时期停止。根据 early_stopping 参数检查收敛性与训练损失或验证损失。

shuffle：布尔，默认=真

是否应该在每个 epoch 之后对训练数据进行洗牌。

verbose：整数，默认=0

详细程度。

epsilon：浮点数，默认=0.1

epsilon-insensitive 损失函数中的 Epsilon；仅当 loss 为 ‘huber’, ‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 时。对于‘huber’，确定使预测完全正确变得不那么重要的阈值。对于epsilon-insensitive，如果当前预测和正确标签之间的差异小于此阈值，则忽略它们。

n_jobs：整数，默认=无

用于进行 OVA(One Versus All，针对多类问题)计算的 CPU 数量。 None 表示 1，除非在 joblib.parallel_backend 上下文中。 -1 表示使用所有处理器。有关更多详细信息，请参阅术语表。

random_state：int，RandomState 实例，默认=无

当 shuffle 设置为 True 时，用于混洗数据。传递 int 以获得跨多个函数调用的可重现输出。请参阅词汇表。

learning_rate：str，默认='最佳'

学习率时间表：

• ‘constant’：eta = eta0

• ‘optimal’：eta = 1.0 / (alpha * (t + t0)) 其中 t0 由 Leon Bottou 提出的启发式方法选择。

• ‘invscaling’：eta = eta0 / pow(t, power_t)

• ‘adaptive’：eta = eta0，只要训练不断减少。如果 early_stopping 为 True，则每次 n_iter_no_change 个连续 epoch 未能将训练损失减少 tol 或未能将验证分数增加 tol，则当前学习率除以 5。

eta0：浮点数，默认=0.0

‘constant’, ‘invscaling’ 或 ‘adaptive’ 计划的初始学习率。默认值为 0.0，因为默认计划 ‘optimal’ 不使用 eta0。

power_t：浮点数，默认=0.5

逆缩放学习率的 index [默认 0.5]。

early_stopping：布尔，默认=假

当验证分数没有提高时，是否使用提前停止来终止训练。如果设置为 True，它将自动留出训练数据的分层部分作为验证，并在 score 方法返回的验证分数在 n_iter_no_change 个连续 epoch 中没有提高至少 tol 时终止训练。

validation_fraction：浮点数，默认=0.1

留出作为提前停止验证集的训练数据的比例。必须介于 0 和 1 之间。仅在 early_stopping 为 True 时使用。

n_iter_no_change：整数，默认=5

在停止拟合之前等待没有改进的迭代次数。根据 early_stopping 参数检查收敛性与训练损失或验证损失。

class_weight：dict, {class_label: weight} 或 “balanced”, 默认=无

class_weight 拟合参数的预设。

与类相关的权重。如果没有给出，所有的类都应该有一个权重。

“balanced” 模式使用 y 的值自动调整与输入数据中的类频率成反比的权重，如 n_samples / (n_classes * np.bincount(y)) 。

warm_start：布尔，默认=假

当设置为 True 时，重用之前调用的解决方案作为初始化，否则，只需擦除之前的解决方案。请参阅词汇表。

当 warm_start 为 True 时重复调用 fit 或 partial_fit 可能会导致与单次调用 fit 时不同的解决方案，因为数据被打乱的方式。如果使用动态学习率，则根据已经看到的样本数量调整学习率。调用fit 重置此计数器，而partial_fit 将导致增加现有计数器。

average：bool 或 int，默认 = False

设置为 True 时，计算所有更新的平均 SGD 权重，并将结果存储在 coef_ 属性中。如果设置为大于 1 的 int，则在看到的样本总数达到 average 时将开始平均。所以average=10 将在看到 10 个样本后开始平均。

属性：

coef_：ndarray of shape (1, n_features) if n_classes == 2 else (n_classes, n_features)

分配给特征的权重。

intercept_：ndarray 形状 (1,) if n_classes == 2 else (n_classes,)

决策函数中的常数。

n_iter_：int

达到停止标准之前的实际迭代次数。对于多类拟合，它是每个二元拟合的最大值。

loss_function_：具体LossFunction

classes_：形状数组 (n_classes,)

t_：int

训练期间执行的权重更新次数。与 (n_iter_ * n_samples) 相同。

n_features_in_：int

拟合期间看到的特征数。

feature_names_in_：ndarray 形状(n_features_in_，)

拟合期间看到的特征名称。仅当 X 具有全为字符串的函数名称时才定义。

例子：

>>> import numpy as np
>>> from sklearn.linear_model import SGDClassifier
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
>>> Y = np.array([1, 1, 2, 2])
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> clf = make_pipeline(StandardScaler(),
...                     SGDClassifier(max_iter=1000, tol=1e-3))
>>> clf.fit(X, Y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdclassifier', SGDClassifier())])
>>> print(clf.predict([[-0.8, -1]]))
[1]