Python sklearn SGDClassifier用法及代碼示例

本文簡要介紹python語言中 sklearn.linear_model.SGDClassifier 的用法。

用法:

class sklearn.linear_model.SGDClassifier(loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)

帶有 SGD 訓練的線性分類器(SVM、邏輯回歸等)。

該估計器使用隨機梯度下降 (SGD) 學習實現正則化線性模型：每次估計每個樣本的損失梯度，並且模型隨著強度計劃的遞減(也稱為學習率)不斷更新。 SGD 允許通過partial_fit 方法進行小批量(在線/out-of-core)學習。為了使用默認學習率計劃獲得最佳結果，數據應具有零均值和單位方差。

此實現適用於表示為特征的密集或稀疏浮點值數組的數據。它擬合的模型可以用損失參數來控製；默認情況下，它適合線性支持向量機 (SVM)。

正則化器是添加到損失函數的懲罰項，它使用平方歐幾裏德範數 L2 或絕對範數 L1 或兩者的組合(彈性網絡)將模型參數縮小到零向量。如果由於正則化器的原因參數更新超過 0.0 值，則更新被截斷為 0.0 以允許學習稀疏模型並實現在線特征選擇。

在用戶指南中閱讀更多信息。

參數：

loss：str，默認='鉸鏈'

要使用的損失函數。默認為‘hinge’，它給出了一個線性 SVM。

可能的選項是‘hinge’, ‘log’、‘modified_huber’, ‘squared_hinge’、‘perceptron’，或回歸損失：‘squared_error’, ‘huber’、‘epsilon_insensitive’或‘squared_epsilon_insensitive’。

‘log’ 損失給出了邏輯回歸，一種概率分類器。 ‘modified_huber’ 是另一個平滑損失，它可以容忍異常值以及概率估計。 ‘squared_hinge’ 類似於鉸鏈，但受到二次懲罰。 ‘perceptron’ 是感知器算法使用的線性損失。其他損失是為回歸設計的，但也可用於分類；有關說明，請參見 SGDRegressor 。

有關損失公式的更多詳細信息，請參閱用戶指南。

penalty：{‘l2’, ‘l1’，‘elasticnet’}，默認='l2'

要使用的懲罰(又名正則化項)。默認為 ‘l2’，這是線性 SVM 模型的標準正則化器。 ‘l1’ 和 ‘elasticnet’ 可能會給模型帶來稀疏性(特征選擇)，這是 ‘l2’ 無法實現的。

alpha：浮點數，默認=0.0001

乘以正則化項的常數。值越高，正則化越強。當設置為 learning_rate 設置為 ‘optimal’ 時，也用於計算學習率。

l1_ratio：浮點數，默認=0.15

Elastic Net 混合參數，0 <= l1_ratio <= 1。l1_ratio=0 對應 L2 懲罰，l1_ratio=1 對應 L1。僅在 penalty 為 ‘elasticnet’ 時使用。

fit_intercept：布爾，默認=真

是否應該估計截距。如果為 False，則假定數據已經居中。

max_iter：整數，默認=1000

訓練數據的最大傳遞次數(又名 epochs)。它隻影響fit 方法中的行為，而不影響partial_fit 方法中的行為。

tol：浮點數，默認=1e-3

停止標準。如果它不是無，訓練將在 (loss > best_loss - tol) 為 n_iter_no_change 連續時期停止。根據 early_stopping 參數檢查收斂性與訓練損失或驗證損失。

shuffle：布爾，默認=真

是否應該在每個 epoch 之後對訓練數據進行洗牌。

verbose：整數，默認=0

詳細程度。

epsilon：浮點數，默認=0.1

epsilon-insensitive 損失函數中的 Epsilon；僅當 loss 為 ‘huber’, ‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 時。對於‘huber’，確定使預測完全正確變得不那麽重要的閾值。對於epsilon-insensitive，如果當前預測和正確標簽之間的差異小於此閾值，則忽略它們。

n_jobs：整數，默認=無

用於進行 OVA(One Versus All，針對多類問題)計算的 CPU 數量。 None 表示 1，除非在 joblib.parallel_backend 上下文中。 -1 表示使用所有處理器。有關更多詳細信息，請參閱術語表。

random_state：int，RandomState 實例，默認=無

當 shuffle 設置為 True 時，用於混洗數據。傳遞 int 以獲得跨多個函數調用的可重現輸出。請參閱詞匯表。

learning_rate：str，默認='最佳'

學習率時間表：

• ‘constant’：eta = eta0

• ‘optimal’：eta = 1.0 / (alpha * (t + t0)) 其中 t0 由 Leon Bottou 提出的啟發式方法選擇。

• ‘invscaling’：eta = eta0 / pow(t, power_t)

• ‘adaptive’：eta = eta0，隻要訓練不斷減少。如果 early_stopping 為 True，則每次 n_iter_no_change 個連續 epoch 未能將訓練損失減少 tol 或未能將驗證分數增加 tol，則當前學習率除以 5。

eta0：浮點數，默認=0.0

‘constant’, ‘invscaling’ 或 ‘adaptive’ 計劃的初始學習率。默認值為 0.0，因為默認計劃 ‘optimal’ 不使用 eta0。

power_t：浮點數，默認=0.5

逆縮放學習率的 index [默認 0.5]。

early_stopping：布爾，默認=假

當驗證分數沒有提高時，是否使用提前停止來終止訓練。如果設置為 True，它將自動留出訓練數據的分層部分作為驗證，並在 score 方法返回的驗證分數在 n_iter_no_change 個連續 epoch 中沒有提高至少 tol 時終止訓練。

validation_fraction：浮點數，默認=0.1

留出作為提前停止驗證集的訓練數據的比例。必須介於 0 和 1 之間。僅在 early_stopping 為 True 時使用。

n_iter_no_change：整數，默認=5

在停止擬合之前等待沒有改進的迭代次數。根據 early_stopping 參數檢查收斂性與訓練損失或驗證損失。

class_weight：dict, {class_label: weight} 或 “balanced”, 默認=無

class_weight 擬合參數的預設。

與類相關的權重。如果沒有給出，所有的類都應該有一個權重。

“balanced” 模式使用 y 的值自動調整與輸入數據中的類頻率成反比的權重，如 n_samples / (n_classes * np.bincount(y)) 。

warm_start：布爾，默認=假

當設置為 True 時，重用之前調用的解決方案作為初始化，否則，隻需擦除之前的解決方案。請參閱詞匯表。

當 warm_start 為 True 時重複調用 fit 或 partial_fit 可能會導致與單次調用 fit 時不同的解決方案，因為數據被打亂的方式。如果使用動態學習率，則根據已經看到的樣本數量調整學習率。調用fit 重置此計數器，而partial_fit 將導致增加現有計數器。

average：bool 或 int，默認 = False

設置為 True 時，計算所有更新的平均 SGD 權重，並將結果存儲在 coef_ 屬性中。如果設置為大於 1 的 int，則在看到的樣本總數達到 average 時將開始平均。所以average=10 將在看到 10 個樣本後開始平均。

屬性：

coef_：ndarray of shape (1, n_features) if n_classes == 2 else (n_classes, n_features)

分配給特征的權重。

intercept_：ndarray 形狀 (1,) if n_classes == 2 else (n_classes,)

決策函數中的常數。

n_iter_：int

達到停止標準之前的實際迭代次數。對於多類擬合，它是每個二元擬合的最大值。

loss_function_：具體LossFunction

classes_：形狀數組 (n_classes,)

t_：int

訓練期間執行的權重更新次數。與 (n_iter_ * n_samples) 相同。

n_features_in_：int

擬合期間看到的特征數。

feature_names_in_：ndarray 形狀(n_features_in_，)

擬合期間看到的特征名稱。僅當 X 具有全為字符串的函數名稱時才定義。

例子：

>>> import numpy as np
>>> from sklearn.linear_model import SGDClassifier
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])
>>> Y = np.array([1, 1, 2, 2])
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> clf = make_pipeline(StandardScaler(),
...                     SGDClassifier(max_iter=1000, tol=1e-3))
>>> clf.fit(X, Y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdclassifier', SGDClassifier())])
>>> print(clf.predict([[-0.8, -1]]))
[1]