當前位置: 首頁>>編程示例 >>用法及示例精選 >>正文


Python sklearn SGDRegressor用法及代碼示例

本文簡要介紹python語言中 sklearn.linear_model.SGDRegressor 的用法。

用法:

class sklearn.linear_model.SGDRegressor(loss='squared_error', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)

通過使用 SGD 最小化正則化經驗損失來擬合線性模型。

SGD 代表 Stochastic Gradient Descent:每次估計每個樣本的損失梯度,並且模型隨著強度計劃(也稱為學習率)的遞減而不斷更新。

正則化器是添加到損失函數的懲罰項,它使用平方歐幾裏德範數 L2 或絕對範數 L1 或兩者的組合(彈性網絡)將模型參數縮小到零向量。如果由於正則化器的原因參數更新超過 0.0 值,則更新被截斷為 0.0 以允許學習稀疏模型並實現在線特征選擇。

此實現適用於表示為特征浮點值的密集 numpy 數組的數據。

在用戶指南中閱讀更多信息。

參數

lossstr,默認='squared_error'

要使用的損失函數。可能的值為 ‘squared_error’, ‘huber’、‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’

‘squared_error’ 指的是普通的最小二乘擬合。 ‘huber’ 修改 ‘squared_error’,通過從平方損失切換到超過 epsilon 距離的線性損失來減少對異常值的關注。 ‘epsilon_insensitive’ 忽略小於 epsilon 的錯誤,並且超過 epsilon 是線性的;這是 SVR 中使用的損失函數。 ‘squared_epsilon_insensitive’ 是相同的,但在 epsilon 容差後變為平方損失。

有關損失公式的更多詳細信息,請參閱用戶指南。

penalty{‘l2’, ‘l1’,‘elasticnet’},默認='l2'

要使用的懲罰(又名正則化項)。默認為 ‘l2’,這是線性 SVM 模型的標準正則化器。 ‘l1’ 和 ‘elasticnet’ 可能會給模型帶來稀疏性(特征選擇),這是 ‘l2’ 無法實現的。

alpha浮點數,默認=0.0001

乘以正則化項的常數。值越高,正則化越強。當設置為 learning_rate 設置為 ‘optimal’ 時,也用於計算學習率。

l1_ratio浮點數,默認=0.15

Elastic Net 混合參數,0 <= l1_ratio <= 1。l1_ratio=0 對應 L2 懲罰,l1_ratio=1 對應 L1。僅在 penalty 為 ‘elasticnet’ 時使用。

fit_intercept布爾,默認=真

是否應該估計截距。如果為 False,則假定數據已經居中。

max_iter整數,默認=1000

訓練數據的最大傳遞次數(又名 epochs)。它隻影響fit 方法中的行為,而不影響partial_fit 方法中的行為。

tol浮點數,默認=1e-3

停止標準。如果它不是無,訓練將在 (loss > best_loss - tol) 為 n_iter_no_change 連續時期停止。根據 early_stopping 參數檢查收斂性與訓練損失或驗證損失。

shuffle布爾,默認=真

是否應該在每個 epoch 之後對訓練數據進行洗牌。

verbose整數,默認=0

詳細程度。

epsilon浮點數,默認=0.1

epsilon-insensitive 損失函數中的 Epsilon;僅當 loss 為 ‘huber’, ‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 時。對於‘huber’,確定使預測完全正確變得不那麽重要的閾值。對於epsilon-insensitive,如果當前預測和正確標簽之間的差異小於此閾值,則忽略它們。

random_stateint,RandomState 實例,默認=無

shuffle 設置為 True 時,用於混洗數據。傳遞 int 以獲得跨多個函數調用的可重現輸出。請參閱詞匯表。

learning_ratestr,默認='invscaling'

學習率時間表:

  • ‘constant’:eta = eta0

  • ‘optimal’:eta = 1.0 / (alpha * (t + t0)) 其中 t0 由 Leon Bottou 提出的啟發式方法選擇。

  • ‘invscaling’:eta = eta0 / pow(t, power_t)

  • ‘adaptive’:eta = eta0,隻要訓練不斷減少。如果 early_stopping 為 True,則每次 n_iter_no_change 個連續 epoch 未能將訓練損失減少 tol 或未能將驗證分數增加 tol,則當前學習率除以 5。

eta0浮點數,默認=0.01

‘constant’, ‘invscaling’ 或 ‘adaptive’ 計劃的初始學習率。默認值為 0.01。

power_t浮點數,默認=0.25

逆縮放學習率的 index 。

early_stopping布爾,默認=假

當驗證分數沒有提高時,是否使用提前停止來終止訓練。如果設置為 True,它將自動留出一部分訓練數據作為驗證,並在 score 方法返回的驗證分數在 n_iter_no_change 連續 epoch 中沒有提高至少 tol 時終止訓練。

validation_fraction浮點數,默認=0.1

留出作為提前停止驗證集的訓練數據的比例。必須介於 0 和 1 之間。僅在 early_stopping 為 True 時使用。

n_iter_no_change整數,默認=5

在停止擬合之前等待沒有改進的迭代次數。根據 early_stopping 參數檢查收斂性與訓練損失或驗證損失。

warm_start布爾,默認=假

當設置為 True 時,重用之前調用的解決方案作為初始化,否則,隻需擦除之前的解決方案。請參閱詞匯表。

當 warm_start 為 True 時重複調用 fit 或 partial_fit 可能會導致與單次調用 fit 時不同的解決方案,因為數據被打亂的方式。如果使用動態學習率,則根據已經看到的樣本數量調整學習率。調用fit 重置此計數器,而partial_fit 將導致增加現有計數器。

averagebool 或 int,默認 = False

設置為 True 時,計算所有更新的平均 SGD 權重,並將結果存儲在 coef_ 屬性中。如果設置為大於 1 的 int,則在看到的樣本總數達到 average 時將開始平均。所以average=10 將在看到 10 個樣本後開始平均。

屬性

coef_ndarray 形狀 (n_features,)

分配給特征的權重。

intercept_ndarray 形狀 (1,)

截距項。

n_iter_int

達到停止標準之前的實際迭代次數。

t_int

訓練期間執行的權重更新次數。與 (n_iter_ * n_samples) 相同。

n_features_in_int

擬合期間看到的特征數。

feature_names_in_ndarray 形狀(n_features_in_,)

擬合期間看到的特征名稱。僅當 X 具有全為字符串的函數名稱時才定義。

例子

>>> import numpy as np
>>> from sklearn.linear_model import SGDRegressor
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.preprocessing import StandardScaler
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> reg = make_pipeline(StandardScaler(),
...                     SGDRegressor(max_iter=1000, tol=1e-3))
>>> reg.fit(X, y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdregressor', SGDRegressor())])

相關用法


注:本文由純淨天空篩選整理自scikit-learn.org大神的英文原創作品 sklearn.linear_model.SGDRegressor。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。