本文簡要介紹python語言中 sklearn.linear_model.SGDRegressor
的用法。
用法:
class sklearn.linear_model.SGDRegressor(loss='squared_error', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)
通過使用 SGD 最小化正則化經驗損失來擬合線性模型。
SGD 代表 Stochastic Gradient Descent:每次估計每個樣本的損失梯度,並且模型隨著強度計劃(也稱為學習率)的遞減而不斷更新。
正則化器是添加到損失函數的懲罰項,它使用平方歐幾裏德範數 L2 或絕對範數 L1 或兩者的組合(彈性網絡)將模型參數縮小到零向量。如果由於正則化器的原因參數更新超過 0.0 值,則更新被截斷為 0.0 以允許學習稀疏模型並實現在線特征選擇。
此實現適用於表示為特征浮點值的密集 numpy 數組的數據。
在用戶指南中閱讀更多信息。
- loss:str,默認='squared_error'
要使用的損失函數。可能的值為 ‘squared_error’, ‘huber’、‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’
‘squared_error’ 指的是普通的最小二乘擬合。 ‘huber’ 修改 ‘squared_error’,通過從平方損失切換到超過 epsilon 距離的線性損失來減少對異常值的關注。 ‘epsilon_insensitive’ 忽略小於 epsilon 的錯誤,並且超過 epsilon 是線性的;這是 SVR 中使用的損失函數。 ‘squared_epsilon_insensitive’ 是相同的,但在 epsilon 容差後變為平方損失。
有關損失公式的更多詳細信息,請參閱用戶指南。
- penalty:{‘l2’, ‘l1’,‘elasticnet’},默認='l2'
要使用的懲罰(又名正則化項)。默認為 ‘l2’,這是線性 SVM 模型的標準正則化器。 ‘l1’ 和 ‘elasticnet’ 可能會給模型帶來稀疏性(特征選擇),這是 ‘l2’ 無法實現的。
- alpha:浮點數,默認=0.0001
乘以正則化項的常數。值越高,正則化越強。當設置為
learning_rate
設置為 ‘optimal’ 時,也用於計算學習率。- l1_ratio:浮點數,默認=0.15
Elastic Net 混合參數,0 <= l1_ratio <= 1。l1_ratio=0 對應 L2 懲罰,l1_ratio=1 對應 L1。僅在
penalty
為 ‘elasticnet’ 時使用。- fit_intercept:布爾,默認=真
是否應該估計截距。如果為 False,則假定數據已經居中。
- max_iter:整數,默認=1000
訓練數據的最大傳遞次數(又名 epochs)。它隻影響
fit
方法中的行為,而不影響partial_fit
方法中的行為。- tol:浮點數,默認=1e-3
停止標準。如果它不是無,訓練將在 (loss > best_loss - tol) 為
n_iter_no_change
連續時期停止。根據early_stopping
參數檢查收斂性與訓練損失或驗證損失。- shuffle:布爾,默認=真
是否應該在每個 epoch 之後對訓練數據進行洗牌。
- verbose:整數,默認=0
詳細程度。
- epsilon:浮點數,默認=0.1
epsilon-insensitive 損失函數中的 Epsilon;僅當
loss
為 ‘huber’, ‘epsilon_insensitive’ 或 ‘squared_epsilon_insensitive’ 時。對於‘huber’,確定使預測完全正確變得不那麽重要的閾值。對於epsilon-insensitive,如果當前預測和正確標簽之間的差異小於此閾值,則忽略它們。- random_state:int,RandomState 實例,默認=無
當
shuffle
設置為True
時,用於混洗數據。傳遞 int 以獲得跨多個函數調用的可重現輸出。請參閱詞匯表。- learning_rate:str,默認='invscaling'
學習率時間表:
‘constant’:
eta = eta0
‘optimal’:
eta = 1.0 / (alpha * (t + t0))
其中 t0 由 Leon Bottou 提出的啟發式方法選擇。‘invscaling’:
eta = eta0 / pow(t, power_t)
‘adaptive’:eta = eta0,隻要訓練不斷減少。如果 early_stopping 為 True,則每次 n_iter_no_change 個連續 epoch 未能將訓練損失減少 tol 或未能將驗證分數增加 tol,則當前學習率除以 5。
- eta0:浮點數,默認=0.01
‘constant’, ‘invscaling’ 或 ‘adaptive’ 計劃的初始學習率。默認值為 0.01。
- power_t:浮點數,默認=0.25
逆縮放學習率的 index 。
- early_stopping:布爾,默認=假
當驗證分數沒有提高時,是否使用提前停止來終止訓練。如果設置為 True,它將自動留出一部分訓練數據作為驗證,並在
score
方法返回的驗證分數在n_iter_no_change
連續 epoch 中沒有提高至少tol
時終止訓練。- validation_fraction:浮點數,默認=0.1
留出作為提前停止驗證集的訓練數據的比例。必須介於 0 和 1 之間。僅在
early_stopping
為 True 時使用。- n_iter_no_change:整數,默認=5
在停止擬合之前等待沒有改進的迭代次數。根據
early_stopping
參數檢查收斂性與訓練損失或驗證損失。- warm_start:布爾,默認=假
當設置為 True 時,重用之前調用的解決方案作為初始化,否則,隻需擦除之前的解決方案。請參閱詞匯表。
當 warm_start 為 True 時重複調用 fit 或 partial_fit 可能會導致與單次調用 fit 時不同的解決方案,因為數據被打亂的方式。如果使用動態學習率,則根據已經看到的樣本數量調整學習率。調用
fit
重置此計數器,而partial_fit
將導致增加現有計數器。- average:bool 或 int,默認 = False
設置為 True 時,計算所有更新的平均 SGD 權重,並將結果存儲在
coef_
屬性中。如果設置為大於 1 的 int,則在看到的樣本總數達到average
時將開始平均。所以average=10
將在看到 10 個樣本後開始平均。
- coef_:ndarray 形狀 (n_features,)
分配給特征的權重。
- intercept_:ndarray 形狀 (1,)
截距項。
- n_iter_:int
達到停止標準之前的實際迭代次數。
- t_:int
訓練期間執行的權重更新次數。與
(n_iter_ * n_samples)
相同。- n_features_in_:int
擬合期間看到的特征數。
- feature_names_in_:ndarray 形狀(
n_features_in_
,) 擬合期間看到的特征名稱。僅當
X
具有全為字符串的函數名稱時才定義。
參數:
屬性:
例子:
>>> import numpy as np >>> from sklearn.linear_model import SGDRegressor >>> from sklearn.pipeline import make_pipeline >>> from sklearn.preprocessing import StandardScaler >>> n_samples, n_features = 10, 5 >>> rng = np.random.RandomState(0) >>> y = rng.randn(n_samples) >>> X = rng.randn(n_samples, n_features) >>> # Always scale the input. The most convenient way is to use a pipeline. >>> reg = make_pipeline(StandardScaler(), ... SGDRegressor(max_iter=1000, tol=1e-3)) >>> reg.fit(X, y) Pipeline(steps=[('standardscaler', StandardScaler()), ('sgdregressor', SGDRegressor())])
相關用法
- Python sklearn SGDOneClassSVM用法及代碼示例
- Python sklearn SGDClassifier用法及代碼示例
- Python sklearn ShrunkCovariance用法及代碼示例
- Python sklearn SelfTrainingClassifier用法及代碼示例
- Python sklearn SelectFromModel用法及代碼示例
- Python sklearn SparsePCA用法及代碼示例
- Python sklearn SpectralEmbedding用法及代碼示例
- Python sklearn SelectFpr用法及代碼示例
- Python sklearn ShuffleSplit用法及代碼示例
- Python sklearn StratifiedGroupKFold用法及代碼示例
- Python sklearn SpectralClustering用法及代碼示例
- Python sklearn Sum用法及代碼示例
- Python sklearn SpectralBiclustering用法及代碼示例
- Python sklearn SVR用法及代碼示例
- Python sklearn SelectKBest用法及代碼示例
- Python sklearn SimpleImputer用法及代碼示例
- Python sklearn StratifiedShuffleSplit用法及代碼示例
- Python sklearn SVC用法及代碼示例
- Python sklearn SequentialFeatureSelector用法及代碼示例
- Python sklearn SplineTransformer用法及代碼示例
- Python sklearn SelectPercentile用法及代碼示例
- Python sklearn SkewedChi2Sampler用法及代碼示例
- Python sklearn SparseCoder用法及代碼示例
- Python sklearn StratifiedKFold用法及代碼示例
- Python sklearn SparseRandomProjection用法及代碼示例
注:本文由純淨天空篩選整理自scikit-learn.org大神的英文原創作品 sklearn.linear_model.SGDRegressor。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。