ElasticNet#

具有组合 L1 和 L2 先验作为正则化项的线性回归。

最小化目标函数

\[\frac{1}{2 n_{\rm samples}} \cdot \|y - X w\|_2^2 + \alpha \cdot {\rm l1\_{ratio}} \cdot \|w\|_1 + 0.5 \cdot \alpha \cdot (1 - {\rm l1\_{ratio}}) \cdot \|w\|_2^2\]

如果你对分别控制 L1 和 L2 惩罚项感兴趣，请记住这等同于

\[a \cdot \|w\|_1 + 0.5 \cdot b \cdot \|w\|_2^2\]

其中

\[\alpha = a + b, \quad {\rm l1\_{ratio}} = \frac{a}{a + b}\]

l1_ratio 参数对应于 glmnet R 包中的 alpha，而 alpha 对应于 glmnet 中的 lambda 参数。具体来说，l1_ratio = 1 是 lasso 惩罚项。目前，l1_ratio <= 0.01 不太可靠，除非您提供自己的 alpha 序列。

在用户指南中阅读更多内容。

参数:

alphafloat, default=1.0惩罚项的乘法常数。默认为 1.0。请参阅注释以了解此参数的精确数学含义。alpha = 0 等效于普通最小二乘法，由 LinearRegression 对象求解。出于数值原因，不建议在 Lasso 对象中使用 alpha = 0。鉴于此，您应该使用 LinearRegression 对象。

l1_ratiofloat, default=0.5ElasticNet 混合参数，其中 0 <= l1_ratio <= 1。对于 l1_ratio = 0，惩罚项是 L2 惩罚项。对于 l1_ratio = 1，惩罚项是 L1 惩罚项。对于 0 < l1_ratio < 1，惩罚项是 L1 和 L2 的组合。

fit_interceptbool, default=True是否估计截距。如果为 False，则假定数据已中心化。

precomputebool 或 array-like of shape (n_features, n_features), default=False是否使用预先计算的 Gram 矩阵来加快计算速度。Gram 矩阵也可以作为参数传入。对于稀疏输入，此选项始终为 False 以保持稀疏性。有关详细信息，请查看 如何在 ElasticNet 中使用预先计算的 Gram 矩阵的示例。

max_iterint, default=1000最大迭代次数。

copy_Xbool, default=True如果为True，X将被复制；否则，它可能会被覆盖。

tolfloat, default=1e-4优化的容差：如果更新小于或等于 tol，优化代码会检查对偶间隙的最优性，并继续直到它小于或等于 tol，请参阅下面的注释。

warm_startbool, default=False设置为True时，将前一次调用fit的解决方案作为初始化重新使用，否则，擦除前一个解决方案。请参阅词汇表。

positivebool, default=False设置为True时，强制系数为正。

random_stateint, RandomState instance, default=None选择要更新的随机特征的伪随机数生成器种子。当selection == ‘random’时使用。传入一个整数可以在多次函数调用中获得可重现的输出。请参阅词汇表。

selection{‘cyclic’, ‘random’}, default=’cyclic’如果设置为‘random’，则每次迭代更新一个随机系数，而不是默认按顺序遍历特征。这（设置为‘random’）通常会导致显著更快的收敛，尤其当tol高于1e-4时。

属性:

coef_ndarray of shape (n_features,) or (n_targets, n_features)参数向量（成本函数公式中的w）。

sparse_coef_sparse matrix of shape (n_features,) or (n_targets, n_features)拟合的coef_的稀疏表示。

intercept_float or ndarray of shape (n_targets,)决策函数中的独立项。

n_iter_list of int坐标下降求解器达到指定容忍度运行的迭代次数。

dual_gap_float or ndarray of shape (n_targets,)给定参数 alpha，优化结束时的对偶间隙，形状与 y 的每个观测值相同。

n_features_in_int在 拟合 期间看到的特征数。

0.24 版本新增。

feature_names_in_shape 为 (n_features_in_,) 的 ndarray在 fit 期间看到的特征名称。仅当 X 具有全部为字符串的特征名称时才定义。

1.0 版本新增。

另请参阅

ElasticNetCV通过交叉验证进行最佳模型选择的 Elastic Net 模型。

SGDRegressor实现增量训练的 Elastic Net 回归。

SGDClassifier实现具有 Elastic Net 惩罚项的逻辑回归 (SGDClassifier(loss="log_loss", penalty="elasticnet"))。

注意事项

为避免不必要的内存复制，fit方法的X参数应直接作为Fortran连续的numpy数组传递。

基于 tol 的精确停止准则如下：首先，检查最大坐标更新，即 \(\max_j |w_j^{new} - w_j^{old}|\) 是否小于或等于 tol 乘以最大绝对系数 \(\max_j |w_j|\)。如果是，则额外检查对偶间隙是否小于或等于 tol 乘以 \(||y||_2^2 / n_{\text{samples}}\)。

底层的坐标下降求解器使用间隙安全筛选规则来加快拟合时间，请参阅坐标下降用户指南。

示例

>>> from sklearn.linear_model import ElasticNet

>>> from sklearn.datasets import make_regression

>>> X, y = make_regression(n_features=2, random_state=0)

>>> regr = ElasticNet(random_state=0)

>>> regr.fit(X, y)

ElasticNet(random_state=0)

>>> print(regr.coef_)

[18.83816048 64.55968825]

>>> print(regr.intercept_)

1.451

>>> print(regr.predict([[0, 0]]))

[1.451]

L1-based models for Sparse Signals 展示了 ElasticNet 以及 Lasso 和 ARD 回归在存在噪声和特征相关性时的稀疏信号恢复。

fit(X, y, sample_weight=None, check_input=True)[source]#

使用坐标下降拟合模型。

参数:

X{ndarray, sparse matrix, sparse array} of (n_samples, n_features)数据。

请注意，不接受需要 int64 索引的大型稀疏矩阵和数组。

yndarray of shape (n_samples,) or (n_samples, n_targets)目标。如果需要，将被转换为X的数据类型。

sample_weightfloat or array-like of shape (n_samples,), default=None样本权重。在内部，sample_weight 向量将被重新缩放以求和为 n_samples。

0.23 版本新增。

check_inputbool, default=True允许绕过多次输入检查。除非您知道自己在做什么，否则请勿使用此参数。

返回:

selfobject拟合的估计器。

注意事项

坐标下降是一种一次考虑一列数据的算法，因此在必要时会自动将X输入转换为Fortran连续的numpy数组。

为避免内存重新分配，建议直接使用该格式在内存中分配初始数据。

get_metadata_routing()[source]#

获取此对象的元数据路由。

请查阅 用户指南，了解路由机制如何工作。

返回:

routingMetadataRequest封装路由信息的 MetadataRequest。

get_params(deep=True)[source]#

获取此估计器的参数。

参数:

deepbool, default=True如果为 True，将返回此估计器以及包含的子对象（如果它们是估计器）的参数。

返回:

paramsdict参数名称映射到其值。

static path(X, y, *, l1_ratio=0.5, eps=0.001, n_alphas=100, alphas=None, precompute='auto', Xy=None, copy_X=True, coef_init=None, verbose=False, return_n_iter=False, positive=False, check_input=True, **params)[source]#

使用坐标下降计算 elastic net 路径。

弹性网络优化函数对于单输出和多输出任务有所不同。

对于单输出任务，它是

1 / (2 * n_samples) * ||y - Xw||^2_2

+ alpha * l1_ratio * ||w||_1

+ 0.5 * alpha * (1 - l1_ratio) * ||w||^2_2

对于多输出任务，它是

(1 / (2 * n_samples)) * ||Y - XW||_Fro^2

+ alpha * l1_ratio * ||W||_21

+ 0.5 * alpha * (1 - l1_ratio) * ||W||_Fro^2

其中

||W||_21 = \sum_i \sqrt{\sum_j w_{ij}^2}

即每行范数之和。

在用户指南中阅读更多内容。

参数:

Xshape 为 (n_samples, n_features) 的 {array-like, sparse matrix}训练数据。直接作为Fortran连续数据传递以避免不必要的内存复制。如果y是单输出，则X可以是稀疏的。

y{array-like, sparse matrix} of shape (n_samples,) or (n_samples, n_targets)目标值。

l1_ratiofloat, default=0.5传递给弹性网络的值介于0和1之间（L1和L2惩罚之间的缩放）。l1_ratio=1对应于Lasso。

epsfloat, default=1e-3路径的长度。eps=1e-3表示alpha_min / alpha_max = 1e-3。

n_alphasint, default=100正则化路径上alpha的数量。

alphasarray-like, default=None计算模型的alpha列表。如果为None，则自动设置alphas。

precompute‘auto’, bool or array-like of shape (n_features, n_features), default=’auto’是否使用预计算的Gram矩阵来加快计算速度。如果设置为'auto'，则由我们决定。Gram矩阵也可以作为参数传入。

Xyarray-like of shape (n_features,) or (n_features, n_targets), default=None可以预计算的Xy = np.dot(X.T, y)。仅当Gram矩阵预计算时有用。

copy_Xbool, default=True如果为True，X将被复制；否则，它可能会被覆盖。

coef_initarray-like of shape (n_features, ), default=None系数的初始值。

verbosebool or int, default=False冗余度级别。

return_n_iterbool, default=False是否返回迭代次数。

positivebool, default=False如果设置为True，强制系数为正。（仅当y.ndim == 1时允许）。

check_inputbool, default=True如果设置为False，则跳过输入验证检查（包括提供的Gram矩阵）。假设这些检查由调用者处理。

**paramskwargs传递给坐标下降求解器的关键字参数。

返回:

alphasndarray of shape (n_alphas,)计算模型的路径上的alphas。

coefsndarray of shape (n_features, n_alphas) or (n_targets, n_features, n_alphas)路径上的系数。

dual_gapsndarray of shape (n_alphas,)每个alpha优化结束时的对偶间隙。

n_iterslist of int坐标下降优化器为达到每个alpha的指定容忍度所花费的迭代次数。（当return_n_iter设置为True时返回）。

另请参阅

MultiTaskElasticNet使用 L1/L2 混合范数作为正则化项训练的多任务 ElasticNet 模型。

MultiTaskElasticNetCV具有内置交叉验证的多任务 L1/L2 ElasticNet。

ElasticNet具有组合 L1 和 L2 先验作为正则化项的线性回归。

ElasticNetCV具有沿正则化路径迭代拟合的 Elastic Net 模型。

注意事项

有关示例，请参阅examples/linear_model/plot_lasso_lasso_lars_elasticnet_path.py。

底层的坐标下降求解器使用间隙安全筛选规则来加快拟合时间，请参阅坐标下降用户指南。

示例

>>> from sklearn.linear_model import enet_path

>>> from sklearn.datasets import make_regression

>>> X, y, true_coef = make_regression(

... n_samples=100, n_features=5, n_informative=2, coef=True, random_state=0

... )

>>> true_coef

array([ 0. , 0. , 0. , 97.9, 45.7])

>>> alphas, estimated_coef, _ = enet_path(X, y, n_alphas=3)

>>> alphas.shape

(3,)

>>> estimated_coef

array([[ 0., 0.787, 0.568],

[ 0., 1.120, 0.620],

[-0., -2.129, -1.128],

[ 0., 23.046, 88.939],

[ 0., 10.637, 41.566]])

predict(X)[source]#

使用线性模型进行预测。

参数:

Xarray-like or sparse matrix, shape (n_samples, n_features)样本。

返回:

Carray, shape (n_samples,)返回预测值。

score(X, y, sample_weight=None)[source]#

返回测试数据的 决定系数。

决定系数 \(R^2\) 定义为 \((1 - \frac{u}{v})\)，其中 \(u\) 是残差平方和 ((y_true - y_pred)** 2).sum()，\(v\) 是总平方和 ((y_true - y_true.mean()) ** 2).sum()。最好的分数是 1.0，它也可以是负数（因为模型可能任意地差）。一个总是预测 y 期望值，忽略输入特征的常数模型将获得 \(R^2\) 分数为 0.0。

参数:

Xshape 为 (n_samples, n_features) 的 array-like测试样本。对于某些估计器，这可能是一个预先计算的核矩阵或一个通用对象列表，形状为 (n_samples, n_samples_fitted)，其中 n_samples_fitted 是用于估计器拟合的样本数。

yshape 为 (n_samples,) 或 (n_samples, n_outputs) 的 array-likeX 的真实值。

sample_weightshape 为 (n_samples,) 的 array-like, default=None样本权重。

返回:

scorefloatself.predict(X) 相对于 y 的 \(R^2\)。

注意事项

在版本 0.23 中，对回归器调用 score 时使用的 \(R^2\) 分数使用 multioutput='uniform_average'，以与 r2_score 的默认值保持一致。这会影响所有多输出回归器（MultiOutputRegressor 除外）的 score 方法。

set_fit_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → ElasticNet[source]#

配置是否应请求元数据以传递给 fit 方法。

请注意，此方法仅在以下情况下相关：此估计器用作 元估计器 中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看 用户指南 以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 fit。如果未提供元数据，则忽略该请求。

False：不请求元数据，元估计器不会将其传递给 fit。

None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGEDfit 方法中 sample_weight 参数的元数据路由。

返回:

selfobject更新后的对象。

set_params(**params)[source]#

设置此估计器的参数。

此方法适用于简单的估计器以及嵌套对象（如 Pipeline）。后者具有 __ 形式的参数，以便可以更新嵌套对象的每个组件。

参数:

**paramsdict估计器参数。

返回:

selfestimator instance估计器实例。

set_score_request(*, sample_weight: bool | None | str = '$UNCHANGED$') → ElasticNet[source]#

配置是否应请求元数据以传递给 score 方法。

请注意，此方法仅在以下情况下相关：此估计器用作 元估计器 中的子估计器，并且通过 enable_metadata_routing=True 启用了元数据路由（请参阅 sklearn.set_config）。请查看 用户指南 以了解路由机制的工作原理。

每个参数的选项如下：

True：请求元数据，如果提供则传递给 score。如果未提供元数据，则忽略该请求。

False：不请求元数据，元估计器不会将其传递给 score。

None：不请求元数据，如果用户提供元数据，元估计器将引发错误。

str：应将元数据以给定别名而不是原始名称传递给元估计器。

默认值 (sklearn.utils.metadata_routing.UNCHANGED) 保留现有请求。这允许您更改某些参数的请求而不更改其他参数。

在版本 1.3 中新增。

参数:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGEDscore 方法中 sample_weight 参数的元数据路由。

返回:

selfobject更新后的对象。