深入剖析调整的R2(线性回归中的R)

一、R2的概念

调整的R2是多元线性回归中的一个重要指标,它反映了通过添加自变量而得到的模型拟合程度的提高。R2越高,表示模型越能够解释响应变量的方差,从而更好地预测未知数据。

调整的R2则在R2的基础上,加入了自变量个数的惩罚项,防止模型过度拟合。因此,调整的R2可以更好地衡量模型的泛化能力。

二、R2和调整的R2的计算方法

在多元线性回归模型中,R2的计算方法为:

R2 = 1 - SSE/SST

其中,SSE为残差平方和,SST为总平方和。

而调整的R2的计算方法为:

调整的R2 = 1 - (1-R2)(n-1)/(n-p-1)

其中,n为样本量,p为自变量个数。

三、影响R2和调整的R2的因素

1.自变量个数

当自变量个数增加时,R2会随之增加,因为模型可以更好地拟合训练数据。然而,调整的R2则会惩罚多余的自变量,避免模型过度拟合。因此,当自变量个数过多时,调整的R2会下降。

2.样本量

样本量越大,模型可以更充分地学习数据的特征,从而提高拟合程度。因此,随着样本量的增加,R2会增加。然而,调整的R2会进行惩罚,因此样本量对其影响不太明显。

3.特征强度

特征强度指的是自变量与因变量之间的线性关系程度。如果自变量与因变量之间的关系比较强,那么模型可以更准确地拟合数据。因此,特征强度越高,R2和调整的R2也会越高。

四、R2和调整的R2的应用场景

R2和调整的R2可以用来评估多元线性回归模型的拟合程度和预测能力。

一般来说,R2越高,模型的拟合程度越好,但需要注意过度拟合的问题。而调整的R2则可以避免过度拟合,并且能够更好地衡量模型的泛化能力。

因此,当我们需要选择最适合的自变量子集或调整模型时,可以使用调整的R2作为评价指标。同时,当我们需要对未知数据进行预测时,也可以使用R2和调整的R2来评估模型的预测能力。

五、代码示例

import numpy as np 
from sklearn.linear_model import LinearRegression 
from sklearn.metrics import r2_score 

# 构造数据
X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]])
y = np.array([10, 20, 30, 40])

# 创建模型并进行拟合
model = LinearRegression()
model.fit(X, y)

# 计算R2和调整的R2
y_pred = model.predict(X)
r2 = r2_score(y, y_pred)
n = X.shape[0]
p = X.shape[1]
adj_r2 = 1 - (1-r2)*(n-1)/(n-p-1)

print('R2:', r2)
print('Adjusted R2:', adj_r2)

六、总结

调整的R2是多元线性回归中重要的评估指标之一,可以用于衡量模型的拟合程度和泛化能力。同时,R2和调整的R2也可以用来选择最适合的自变量子集或评估模型的预测能力。在实际应用中,需要结合实际问题和数据特征,合理选择评价指标。

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注