研究生

研究生概率与统计概率论


中心极限定理


中心极限定理(CLT)是概率论和统计学中的基石概念之一。它解释了为什么许多分布近似为正态分布,并且成为许多统计程序的基础。在这篇全面的解释中,我们将探讨什么是中心极限定理,为什么它重要,以及它如何通过各种例子和可视化来发挥作用。

理解中心极限定理

从本质上讲,中心极限定理指出,大量独立且相同分布(iid)的随机变量的和(或平均)的分布大致为正态分布,无论这些变量来自何种原始分布,只要原始分布具有有限方差。这是一个深刻的结果,因为它意味着即使你从一个偏态或均匀分布开始,如果你抽取足够的样本并找到它们的平均值,这些平均值的分布将趋向于正态分布。

P(X_1, X_2, ..., X_n) to N(mu, sigma^2/n)

这里,X_1, X_2, ..., X_n 是样本,取自总体,mu 是总体的均值,sigma^2 是方差。N 表示正态分布。

为什么中心极限定理很重要?

中心极限定理很重要,因为它证明了在许多复杂或不太理解的模型中使用正态分布是合理的。CLT 很重要的一些关键领域包括:

  • 统计推断:这允许使用假设正态分布数据的置信区间和假设检验,即使基础数据分布不是正态分布。
  • 数据科学和机器学习:许多算法由于 CLT 而假设正态性,使得模型更加稳健。
  • 质量控制:CLT 在质量控制过程中监控样本均值时非常有用。

通过例子说明中心极限定理

例子 1: 掷骰子

考虑掷一个公平的六面骰子。掷骰子的结果是一个离散均匀分布,从 1 到 6。1 到 6 的每个整数值的概率相等,都是 1/6。这个分布显然不是正态分布。

0.5 1.0 1 2 3 4 5 6

现在,想象掷两个骰子 1000 次并每次取两个骰子的平均值。每次掷骰子将是独立的,我们将有 1000 个平均值。当你绘制这些平均值时,你会看到它们的分布形状开始类似于钟形曲线。现在,如果你将骰子数量增加到 3、4 或更多,这些平均值的分布将更接近于正态分布。

例子 2: 模拟抛硬币

拿 100 枚硬币并抛掷。每次抛掷硬币可视为一个贝努利试验,正面和反面的概率都是 0.5。假设“1”表示正面,“0”表示反面。

如果我们进行这个实验并测量正面次数(成功次数),我们可以将每次抛掷视为一个独立变量。中心极限定理表明,如果我们多次重复这项 100 枚硬币的抛掷并绘制每次的正面数,这些计数的分布将趋于正态分布。

50 Counting the ends

中心极限定理的数学证明

让我们看看严格证明中心极限定理的数学。该定理由包括亚伯拉罕·德·莫维尔、皮埃尔-西蒙·拉普拉斯和卡尔·弗里德里希·高斯在内的多位数学家独立发展。这里,我们呈现一个简化版的证明:

X_1, X_2, ..., X_n为具有均值mu和方差sigma^2的 iid 随机变量。期望值为

E[X_i] = mu

方差为

Var(X_i) = sigma^2

定义样本均值为

bar{X} = frac{X_1 + X_2 + ... + X_n}{n}

样本均值的期望值为

E[bar{X}] = Eleft[frac{X_1 + X_2 + ... + X_n}{n}right] = mu

它的方差为

Var(bar{X}) = frac{1}{n^2}(Var(X_1) + Var(X_2) + ... + Var(X_n)) = frac{sigma^2}{n}

根据标准中心极限定理,如果n足够大,标准化样本均值大致为正态分布,均值为 0,方差为 1:

Z = frac{bar{X} - mu}{sigma/sqrt{n}} to N(0,1)

结论

中心极限定理是一个强大的统计原则,它架起了不同类型分布与正态分布之间的桥梁。其多功能性和可靠性使其成为统计推断的重要工具,证明了许多理论和应用统计学的方法和理论。

无论是掷骰子、抛硬币,还是在现实世界中进行测量,这一定理使我们能够进行有根据的统计分析和预测。通过理解 CLT,您可以更好地应对各种学科的统计挑战。


研究生 → 5.1.4


U
username
0%
完成于 研究生


评论