Python sklearn SGDRegressor用法及代碼示例

本文簡要介紹python語言中 sklearn.linear_model.SGDRegressor 的用法。

用法:

class sklearn.linear_model.SGDRegressor(loss='squared_error', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)

通過使用 SGD 最小化正則化經驗損失來擬合線性模型。

SGD 代表 Stochastic Gradient Descent：每次估計每個樣本的損失梯度，並且模型隨著強度計劃(也稱為學習率)的遞減而不斷更新。

正則化器是添加到損失函數的懲罰項，它使用平方歐幾裏德範數 L2 或絕對範數 L1 或兩者的組合(彈性網絡)將模型參數縮小到零向量。如果由於正則化器的原因參數更新超過 0.0 值，則更新被截斷為 0.0 以允許學習稀疏模型並實現在線特征選擇。

此實現適用於表示為特征浮點值的密集 numpy 數組的數據。

在用戶指南中閱讀更多信息。

參數：

loss：str，默認='squared_error'

要使用的損失函數。可能的值為 ‘squared_error’, ‘huber’、‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’

‘squared_error’ 指的是普通的最小二乘擬合。 ‘huber’ 修改 ‘squared_error’，通過從平方損失切換到超過 epsilon 距離的線性損失來減少對異常值的關注。 ‘epsilon_insensitive’ 忽略小於 epsilon 的錯誤，並且超過 epsilon 是線性的；這是 SVR 中使用的損失函數。 ‘squared_epsilon_insensitive’ 是相同的，但在 epsilon 容差後變為平方損失。

有關損失公式的更多詳細信息，請參閱用戶指南。

penalty：{‘l2’, ‘l1’，‘elasticnet’}，默認='l2'

要使用的懲罰(又名正則化項)。默認為 ‘l2’，這是線性 SVM 模型的標準正則化器。 ‘l1’ 和 ‘elasticnet’ 可能會給模型帶來稀疏性(特征選擇)，這是 ‘l2’ 無法實現的。

alpha：浮點數，默認=0.0001

乘以正則化項的常數。值越高，正則化越強。當設置為 learning_rate 設置為 ‘optimal’ 時，也用於計算學習率。

l1_ratio：浮點數，默認=0.15

Elastic Net 混合參數，0 <= l1_ratio <= 1。l1_ratio=0 對應 L2 懲罰，l1_ratio=1 對應 L1。僅在 penalty 為 ‘elasticnet’ 時使用。

fit_intercept：布爾，默認=真

是否應該估計截距。如果為 False，則假定數據已經居中。

max_iter：整數，默認=1000

訓練數據的最大傳遞次數(又名 epochs)。它隻影響fit 方法中的行為，而不影響partial_fit 方法中的行為。

tol：浮點數，默認=1e-3

停止標準。如果它不是無，訓練將在 (loss > best_loss - tol) 為 n_iter_no_change 連續時期停止。根據 early_stopping 參數檢查收斂性與訓練損失或驗證損失。

shuffle：布爾，默認=真

是否應該在每個 epoch 之後對訓練數據進行洗牌。

verbose：整數，默認=0

詳細程度。

epsilon：浮點數，默認=0.1

epsilon-insensitive 損失函數中的 Epsilon；僅當 loss 為 ‘huber’, ‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 時。對於‘huber’，確定使預測完全正確變得不那麽重要的閾值。對於epsilon-insensitive，如果當前預測和正確標簽之間的差異小於此閾值，則忽略它們。

random_state：int，RandomState 實例，默認=無

當 shuffle 設置為 True 時，用於混洗數據。傳遞 int 以獲得跨多個函數調用的可重現輸出。請參閱詞匯表。

learning_rate：str，默認='invscaling'

學習率時間表：

• ‘constant’：eta = eta0

• ‘optimal’：eta = 1.0 / (alpha * (t + t0)) 其中 t0 由 Leon Bottou 提出的啟發式方法選擇。

• ‘invscaling’：eta = eta0 / pow(t, power_t)

• ‘adaptive’：eta = eta0，隻要訓練不斷減少。如果 early_stopping 為 True，則每次 n_iter_no_change 個連續 epoch 未能將訓練損失減少 tol 或未能將驗證分數增加 tol，則當前學習率除以 5。

eta0：浮點數，默認=0.01

‘constant’, ‘invscaling’ 或 ‘adaptive’ 計劃的初始學習率。默認值為 0.01。

power_t：浮點數，默認=0.25

逆縮放學習率的 index 。

early_stopping：布爾，默認=假

當驗證分數沒有提高時，是否使用提前停止來終止訓練。如果設置為 True，它將自動留出一部分訓練數據作為驗證，並在 score 方法返回的驗證分數在 n_iter_no_change 連續 epoch 中沒有提高至少 tol 時終止訓練。

validation_fraction：浮點數，默認=0.1

留出作為提前停止驗證集的訓練數據的比例。必須介於 0 和 1 之間。僅在 early_stopping 為 True 時使用。

n_iter_no_change：整數，默認=5

在停止擬合之前等待沒有改進的迭代次數。根據 early_stopping 參數檢查收斂性與訓練損失或驗證損失。

warm_start：布爾，默認=假

當設置為 True 時，重用之前調用的解決方案作為初始化，否則，隻需擦除之前的解決方案。請參閱詞匯表。

當 warm_start 為 True 時重複調用 fit 或 partial_fit 可能會導致與單次調用 fit 時不同的解決方案，因為數據被打亂的方式。如果使用動態學習率，則根據已經看到的樣本數量調整學習率。調用fit 重置此計數器，而partial_fit 將導致增加現有計數器。

average：bool 或 int，默認 = False

設置為 True 時，計算所有更新的平均 SGD 權重，並將結果存儲在 coef_ 屬性中。如果設置為大於 1 的 int，則在看到的樣本總數達到 average 時將開始平均。所以average=10 將在看到 10 個樣本後開始平均。

屬性：

coef_：ndarray 形狀 (n_features,)

分配給特征的權重。

intercept_：ndarray 形狀 (1,)

截距項。

n_iter_：int

達到停止標準之前的實際迭代次數。

t_：int

訓練期間執行的權重更新次數。與 (n_iter_ * n_samples) 相同。

n_features_in_：int

擬合期間看到的特征數。

feature_names_in_：ndarray 形狀(n_features_in_，)

擬合期間看到的特征名稱。僅當 X 具有全為字符串的函數名稱時才定義。

例子：

>>> import numpy as np
>>> from sklearn.linear_model import SGDRegressor
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.preprocessing import StandardScaler
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> reg = make_pipeline(StandardScaler(),
...                     SGDRegressor(max_iter=1000, tol=1e-3))
>>> reg.fit(X, y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdregressor', SGDRegressor())])