相关性和回归

简介

在统计学中，了解两个变量之间的关系很重要。这可以揭示一个变量如何影响另一个变量。帮助我们理解这些关系的两个关键概念是“相关性”和“回归”。这些概念使我们能够调查变量之间是否存在关系以及关系的强度。让我们深入讨论这些有趣的话题！

相关性

相关性是一种统计度量，描述了两个变量之间关系的大小和方向，通常表示为 X 和 Y。它告诉我们变量是否一起变化（如果是，它们是否沿相同或相反方向变化），而不暗示因果关系。

理解相关性

当两个变量相关时，意味着它们之间发生变化有一个可预测模式。相关性可以是正的、负的或为零。

• 正相关：当一个变量增加时，另一个也增加。例如，学习时间与考试分数之间的关系可能表现出正相关。
• 负相关：当一个变量增加时，另一个减少。例如，每周观看电影的数量与学习时间之间的关系可能表现为负相关。
• 无相关（零相关）：没有预测变化连接变量。例如，眼睛颜色与智力水平之间的关系预计没有相关性。

相关性的视觉示例

在散点图中，两个变量之间的相关性以可视方式展示：

用数学表达相关性

最常用的相关系数是皮尔逊相关系数，通常用 r 表示。其计算公式如下：

R = Σ((X_i - X̄)(Y_i - Ȳ)) / (√(Σ(X_i - X̄)² * Σ(Y_i - Ȳ)²))

其中：

• X_i 和 Y_i 是不同的数据点。
• X̄ 是 X 值的平均值，Ȳ 是 Y 值的平均值。
• r 的范围是从 -1 到 +1。

如果 r = 1，表示完美正线性关系。如果 r = -1，则表示完美负线性关系。当 r 值接近 0 时，表示不存在线性关系。

示例

考虑一个简单的数据集，包含两个变量：

• X: 1, 2, 3, 4, 5
• Y: 2, 4, 5, 4, 5

要确定 X 和 Y 之间的相关性，需要应用上面指定的公式。

回归

虽然相关性测量两个变量之间关系的强度和方向，但回归则通过一个变量来预测另一个变量。它使用独立变量（通常表示为 X）来预测应变量（通常表示为 Y）。

理解回归

回归帮助理解当一个独立变量的特定值改变时，应变量的变化情况，同时保持其他独立变量不变。其最简单的形式是线性回归，通常表示为一条线。

线性回归

线性回归试图通过将线性方程拟合到观察到的数据来建模两个变量之间的关系。线的方程通常表示为：

y = a + bx

其中：

• Y 是我们试图预测的应变量。
• X 是我们用于预测的独立变量。
• a 是截距，当 X=0 时 Y 的值。
• b 是斜率，表示 X 变化一个单位时 Y 的变化。

回归的视觉示例

在散点图中绘制一条折回到数据点上的直线通常可以看到如下：

红线称为最佳拟合线或回归线。它最小化了所有点与该线的距离，这称为最小二乘法。

数学上找到回归线

计算斜率 b 和截距 a 的公式如下：

B = Σ((X_i - X̄)(Y_i - Ȳ)) / Σ((X_i - X̄)²)
a = Ȳ − bx̄

这些公式源于最小化观察值与直线的平方差。

示例

使用第一个数据集，变量 X: [1, 2, 3, 4, 5] 和 Y: [2, 4, 5, 4, 5]。

• 首先计算 X̄ 和 Ȳ。
• 然后，使用上述公式确定 b 和 a。

计算后得出：

b = 0.6
a = 2.2
Y = 2.2 + 0.6X

因此，你的回归方程为 Y = 2.2 + 0.6X。

关键区别和总结

• 目的：相关性测量关系的方向和强度。然而，回归建模并通过一个变量预测另一个变量。
• 依赖性：相关性不依赖于因果关系。回归在理论上假定存在依赖方向。
• 对称性：相关性是对称的，因为 corr(X, Y) = corr(Y, X)。回归改变方向，因为 Y = a + bX 不等于 X = c + dY。

总之，相关性和回归为变量之间的关系提供了宝贵的见解。了解这些概念对于许多领域的数据分析至关重要，并为高级统计建模提供了重要基础。

评论