极限定理、集中不等式与蒙特卡洛方法

样本量大，并不自动意味着误差条可靠。关键是：在所声明的抽样机制下，估计量如何波动；依赖、尾部以及选择过程都应计入分析。本课完整证明基本概率界与有限方差弱大数法则，准确陈述中心极限定理和 Hoeffding 不等式，并据此报告蒙特卡洛结果。可复现的一条轨迹不等于无条件的精度保证。

检索准备：模块 04提供证明结构，模块 23提供期望、有限矩和协方差。连续积分选学分支需要模块 17，计算机科学路线全程有有限事件替代。实验只使用 Python 标准库与局部随机数生成器。

对于观测 X₁,…,X_N，定义样本均值 M_N=(1/N)ΣX_i。数据实现以前，它是随机变量；实现以后，它是一个数值统计量。独立同分布（IID）表示各观测具有同一分布，而且每个有限子集合的联合分布都乘积分解。独立本身不保证共同均值，边缘分布相同本身也不保证独立。有关 M_N 的论断应说明目标总体量以及真正的抽样单位。

若每项均值为 μ，期望线性给 E[M_N]=μ，无需独立。有限方差时，Var(M_N)=[ΣVar(X_i)+2Σ_{i<j}Cov(X_i,X_j)]/N²。IID 且共同方差为 σ² 时，交叉项消失，得到 σ²/N。估计量的标准差叫标准误（standard error），此处为 σ/√N。它与原观测单位相同，但描述重复抽样中均值的波动，而非单个观测的离散程度。将原始标准差直接当成均值误差条，会漏掉平均的作用。

簇内复制介于完全独立与完全复制之间。将 m 个独立抽样各复制 b 次，N=mb 行的均值就等于原来 m 项的均值，方差为 σ²/m=bσ²/N。这个等大小完全复制模型中的独立数是 m；一般聚类数据不一定具有如此简单的有效样本量公式。共同受试者、提示、时间块或设备都可能产生协方差，应按照实际设计分析。

非同分布但独立的变量仍满足 Var(M_N)=Σσ_i²/N²，均值为 Σμ_i/N。该量可以是有意定义的混合目标，却不自动等于某个固定总体 μ。如果选择过程改变 μ_i，或抽到的群体比例没有代表性，更多数据可能使结果集中在错误目标上。目标偏差与抽样波动不同；小标准误不能消除选择偏差。

负协方差可能使平均的波动小于独立参照，正协方差则可能增大它。因此独立是一个足够的简化条件，并非所有有效随机设计的定义。第六节刻意在每一对内部引入依赖，以降低差值的方差；不同对之间仍需要合适的抽样约定。诊断依赖时，应指出实际共享来源，而非笼统拒绝所有依赖构造。

数值实验应记录是否共享生成器流、何时重置以及哪些观测被复用。固定局部种子使一个运行可复现；每个所谓重复实验都重置同一种子，只会得到同一条流。采用多个不同整数种子本身也不是统计独立性的证明。定理针对理想化的随机机制；复现记录实现，不会为复制数据增加随机信息。

若 W≥0、E[W] 有限且 t>0，Markov 不等式为 P(W≥t)≤E[W]/t。逐点有 W≥t1{W≥t}，取期望得 E[W]≥tP(W≥t)，再除以正 t 即证。无需独立。报告时可将大于 1 的界截为 1。阈值必须正；不能除以零，也不能将任意带负值变量的均值直接放入这个非负性证明。

对有限方差 X，令 W=(X−μ)²，t=ε²，ε>0。事件 W≥ε² 正好是 |X−μ|≥ε，因此 P(|X−μ|≥ε)≤Var(X)/ε²，即切比雪夫不等式。证明需要二阶矩，不需要高斯形状。独立可能用于前一步均值方差计算，但不是这条不等式的条件。无限方差时，它不给出有限精度信息；小样本方差不能替代总体有限方差假设。

要使界至多 δ，其中 0<δ<1，取 N≥σ²/(δε²)。未知 p 的 Bernoulli 情形可取 N≥1/(4δε²)。ε=.05、δ=.05 时，2000 足够。这是只利用方差界所得的保守充分条件，不是所有估计量、所有特定分布都必须达到的最小数。具体模型可能给更小的有效要求；违背抽样假设则会使整个要求失效。

仅根据矩的信息，切比雪夫甚至可以达到等号。令 X 以概率 1−q 取 0，以概率 q/2 分别取 ±a，其中 0<q≤1。均值为 0，方差为 qa²。在阈值 a，偏差概率为 q，恰等于方差/a²。不能仅凭“有限方差看起来像高斯”就普遍改进其系数。额外的尾部、支撑或分布信息可以改善界，但必须明确列为新条件。

概率保证与确定性误差界的量词不同。切比雪夫允许概率至多 δ 的例外样本；数值求积定理则可能为所有满足导数条件的函数确定地控制截断误差。两者都要检查条件和单位，但不能把 P(误差≥ε)≤δ 改写为每次误差都≤ε。

并集界能组合多个偏差保证，无需失败事件独立。若预先指定 m 个估计，各自失败概率至多 δ/m，则任一失败概率至多 δ。估计可以共享数据，只要单个保证仍有效。看完结果才决定报告哪个估计，会产生选择问题；固定列表定理不能自动覆盖无界的自适应搜索。

小样本时，正确界也可能无用。Bernoulli 最坏方差 .25、N=20、ε=.2 给界 .3125；更小 ε 可使原始界超过 1。这说明当前条件不能建立小失败概率，并非证明错误。松但有效的上界与实际尾概率回答不同问题；漂亮却无定理的误差带不能替代它。

IID X_i 的均值为 μ、方差为有限 σ² 时，对样本均值应用切比雪夫：P(|M_N−μ|≥ε)≤σ²/(Nε²)→0，对每个固定 ε>0 都成立。这完整证明了有限方差弱大数法则：M_N 依概率收敛到 μ。先固定 ε，再让 N 增长，其尾概率趋零；不是从一条模拟曲线的外观推断定理。

依概率收敛描述越来越大的实验中固定幅度偏差的概率极限。它不说每个有限误差都变小，不说不会出现坏样本，也不提供一条实现轨迹最终服从的确定性容差规则。几乎必然收敛讨论整个无限样本路径具有极限的概率，是另一种结论。适当条件下确有强大数法则，但此处的切比雪夫证明只建立所声明的弱法则。

这个方差证明可以在比 IID 弱的条件下成立。若各变量共同均值、成对协方差全为零、方差都至多 C，则 Var(M_N)≤C/N，同样由切比雪夫得到依概率收敛。成对不相关不意味着相互独立，也不建立下一节的 IID 中心极限定理。更一般地，无偏均值估计量的方差只要趋零，就能用此概率证明；必须验证的关键是方差确实消失。

完全复制模型不满足这一条件：方差一直为 σ²。Bernoulli(.3) 复制均值只可能是 0 或 1，与 .3 的距离至少 .3。因此 ε=.1 时，偏差概率每个 N 都是 1。相同边缘和无限行数并不能给弱法则。共同非零偏差也会阻止收敛到目标，即使围绕偏差均值的方差缩小。

无限方差时此证明不可用。有些有限均值分布仍满足其他大数法则，但不能凭空为 σ²/(Nε²) 填一个有限方差。均值未定义则更没有可以代入的 μ；模块 23 的矩例子区分这些情况。应陈述实际使用的定理版本，不能笼统说平均总会有效。

固定 ε、δ 时，切比雪夫给出极限以前就可计算的有限充分样本量；渐近弱法则则说明每个目标都有足够大的量，并不说保守界紧。若依据观察结果决定停止，实验改变了。固定 N 保证不能直接用于依赖数据的随机停止时刻；顺序程序需单独分析。实验中的固定检查点也不能把一个幸运结果变成定理。

独立复制整个模拟实验可检查实现，其均值应总体呈现模型预测的波动。反复重置同一流会产生同一数据和零运行间波动；这诊断的是错误复现方案，而非总体不确定性消失。应记录种子的作用，区分一条累计轨迹与许多独立重复实验。

标准 IID 有限方差中心极限定理假设共同均值 μ 与 0<σ²<∞。它说 Z_N=√N(M_N−μ)/σ 依分布收敛到标准高斯：每个实数 z 都有 P(Z_N≤z)→Φ(z)。这是在此陈述而未完整证明的定理，不能仅由方差恒等式推出。MIT 的 CLT 材料提供带条件的陈述。被标准化的是均值或总和；每个 X_i 保持原来分布。

当大 N 近似适用时，M_N 近似均值 μ、方差 σ²/N 的高斯。μ 两侧约 1.96σ/√N 的带涵盖约 95% 的抽样分布。“约”不能省略：这里的定理没有通用有限 N 误差界或精确 95% 覆盖率。离散性、偏斜及罕见事件都可能令近似差；用估计标准差替代已知 σ 还需额外推理，后续估计与推断模块会讨论。

Z_N 的标准差为 1，M_N 的并不是。漏掉 √N 或把 σ 写成 σ² 会改变尺度和单位。σ²=0 时观测几乎必然等于 μ，没有非退化标准化；无限方差时本 CLT 不可用。不同条件可能导向别的极限规律。长数据或钟形直方图都不能替代均值、方差与依赖条件检查。

若 X_i 本来就是独立高斯，其均值每个 N 都精确高斯，这是该族的更强特殊性质。一般有限方差变量仅有渐近结论。有限样本正态近似误差定理要求额外矩或分布信息，不能用“N≥30”保证所有总体的准确性。罕见二项计数同时受 Np 和 N(1−p) 影响，常见经验阈值也须与实际误差分析区分。

连续近似离散计数时要关注边界。连续性修正可把相邻整数间界线移到半整数，它是近似技术，不是精确事件等式，也不普遍修复覆盖率。小例子可计算精确二项概率来检查剩余差异。转换到连续曲线以前，应写清离散支撑及严格或非严格阈值。

渐近 95% 也不是观察数据后参数位于某个实现区间内的后验概率。它讨论固定总体下估计量的重复抽样。模块 26 严格说明置信覆盖率；模块 25 介绍贝叶斯后验。先区分抽样分布定理与数据实现后的未知参数论断，才能正确解释后续推断。

要在模拟中查看 CLT，应绘制独立重复实验的均值，而非期待原始 Bernoulli 观测变高斯。实验 1 比较两种率与两种样本量；它能说明尺度与形状，不能证明定理或给通用近似误差。下一节探索器计算完整有限模型，并同时展示真正的上界。

有界独立变量在许多情形可得到比单纯矩信息强的有限量界。若 X_i 独立，具有确定界 a_i≤X_i≤b_i，且 Σ(b_i−a_i)²>0，Hoeffding 不等式对 t>0 给 P(|Σ(X_i−E[X_i])|≥t)≤2exp(−2t²/Σ(b_i−a_i)²)。这是在此引用的带条件定理，见 MIT 概率讲义。全部范围为零时总和确定，正阈值偏差概率为零。

对 [0,1] 内 IID 观测，取 t=Nε，总平方范围为 N，得 P(|M_N−μ|≥ε)≤2exp(−2Nε²)。报告时至多写 1。有界保证有限矩，但独立仍必要。一般总和版本不要求同分布；没有同分布时，平均针对各均值的平均。公共范围 [a,b] 的尺度会引入 (b−a)²。

对于预先指定的 m 个 [0,1] 均值估计，每个各用 N 个合适独立观测，先用个别界，再并集求和，得到任一偏差概率≤2mexp(−2Nε²)。估计之间可依赖，并集步骤不要求其独立。令它≤δ，得 N≥log(2m/δ)/(2ε²)。m=20、ε=.05、δ=.05 时取 1337。列表应预先指定，或者通过别的正确方法涵盖，才能声称同时有效。

先检验一个模型，再依据同一批结果从许多模型中挑赢家，会改变声明。有限列表的并集界可以保护整张指定列表，单模型界不能自动跟随所选赢家；模块 30 将用于泛化分析。无穷次检查也不在一个固定 N 的 δ 保证内，需有效并集分配或顺序方法覆盖实际检查事件。

[0,1] 数据的失败界 δ 对应半径 ε_N=√[log(2/δ)/(2N)]。它不使用估计方差，所以样本无成功时仍正。N=100、δ=.05 时约 .135810。代入标准误 √[p_hat(1−p_hat)/N] 在 p_hat=0 时为零，这不证明总体率为零。合成模型 p=.001 时，100 个零的概率为 .999¹⁰⁰≈.904792。

探索器比较 IID Bernoulli 均值与同一个 Bernoulli 抽样的复制行。它数值计算有限模型偏差概率，并用真实方差显示切比雪夫界；只有独立模式才展示 N 观测 Hoeffding 表达式。尾部包含容差等号。整数百分比使事件判定可使用精确整数不等式，然后以浮点加总概率质量。

不同情形下界的紧松不同。小 N 或已知很小方差时，切比雪夫可能优于通用有界 Hoeffding；较大 N 时指数界经常优于 1/N 方差界。应对同一事件与条件比较有效数值界，不能说某个名称的界永远最好。完整有限模型还能计算实际尾概率，一般定理则无需知道全部质量。

蒙特卡洛通过指定抽样机制下的平均估计期望。有限事件 A 的指示平均估计 p=P(A)，IID 时无偏、方差 p(1−p)/N。代入标准误估计波动，在边界或小计数时须特别解释。合成模型已知 p 可算模型标准误；应用中的未知 p 则不能假装已知。

需模块 17 的连续选学分支：I=∫_a^b h(x)dx、U 均匀于 (a,b) 时，I=(b−a)E[h(U)]。IID U_i 且 Var(h(U)) 有限，估计量 (b−a)Σh(U_i)/N 方差为 (b−a)²Var(h(U))/N。h(x)=x²、区间 [0,1] 时目标 1/3，单抽样方差 1/5−1/9=4/45。CS 替代使用有限事件以及相同均值方差逻辑，不需积分。

一般地 Var(A−B)=Var(A)+Var(B)−2Cov(A,B)。保留相同边缘时，正协方差改善独立参照，负协方差反而增大波动，零协方差不改变它。复用随机数不普遍有效。必须保留各方法边缘，并保证不同重复对之间独立，才能用通常的对均值标准误。在实际比较中，同一输入配对也可能减少干扰波动，但设计与分析必须把一对作为单位。

报告应列估计量、目标、真正独立单位数、种子方案、方差条件、不确定性量及所用定理或近似。估计标准误、无分布半径与合成测试中才知道的实际绝对误差各不相同。如果每次模拟内部另有确定数值近似，其偏差或截断误差需要另外计入；随机抽样更多不能消除持续存在的内部求解偏差。

绝对与相对容差的样本量要求也不同。非零 Bernoulli 率下，将模型标准误除以 p 得相对标准误 √[(1−p)/(Np)]。绝对误差 .005 是率 .01 的一半，却只是率 .5 的百分之一。p=0 时相对表达式未定义，不能把零估计除以零。先说明误差尺度再选 N；绝对概率定理不能未经推导改成相对保证。

比较降方差方案还要计算工作量。一对需要两次模拟时，应在相同评估预算下与独立方案比较。较小的每对方差可能伴随昂贵耦合、存储或计算。这里两个方案每对都需两次指示计算，相同对数的比较有直接意义；其他模拟器应明确预算与目标后再说效率提升。复现也包括这些设计选择，种子不能挽救目标已变的估计量。

实验 1 查看重复均值，实验 2 报告有限事件与选学积分，实验 3 暴露复制种子、复制簇与零代入误差条，并展示保持边缘的正确共同随机数设计。可复现脚本支持精确实验陈述，关联定理仍依赖数学抽样条件。应区分数值证据、极限定理与有限概率保证。

实验 1 · 重复均值与有限样本形状

下载 lab1_repeated_sample_means.py

"""Repeated IID Bernoulli means: exact variance, finite-sample discreteness."""
from math import sqrt
import random

if __name__ == "__main__":
    generator = random.Random(24024)
    repeats = 3000
    for p in (.5, .01):
        for n in (20, 1000):
            means = [sum(generator.random() < p for _ in range(n))/n for _ in range(repeats)]
            empirical_mean = sum(means)/repeats
            empirical_sd = sqrt(sum((x-empirical_mean)**2 for x in means)/(repeats-1))
            exact_sd = sqrt(p*(1-p)/n)
            zeros = sum(x == 0 for x in means)/repeats
            within = sum(abs(x-p) <= 1.96*exact_sd for x in means)/repeats
            print("p=%.2f n=%4d mean=%.6f empiricalSD=%.6f exactSD=%.6f zeroFraction=%.6f exactPzero=%.6f" % (
                p, n, empirical_mean, empirical_sd, exact_sd, zeros, (1-p)**n))
            print("  fraction within1.96 known SD: %.6f (a finite check, not guaranteed95%%)" % within)
    print("Original observations stay Bernoulli; CLT concerns standardised sample means.")
    print("Rare p=.01,n20 is mostly zero and poorly represented by a smooth Gaussian.")

p=0.50 n=  20 mean=0.501250 empiricalSD=0.111744 exactSD=0.111803 zeroFraction=0.000000 exactPzero=0.000001
  fraction within1.96 known SD: 0.959667 (a finite check, not guaranteed95%)
p=0.50 n=1000 mean=0.500040 empiricalSD=0.016054 exactSD=0.015811 zeroFraction=0.000000 exactPzero=0.000000
  fraction within1.96 known SD: 0.943667 (a finite check, not guaranteed95%)
p=0.01 n=  20 mean=0.009617 empiricalSD=0.021684 exactSD=0.022249 zeroFraction=0.823000 exactPzero=0.817907
  fraction within1.96 known SD: 0.985667 (a finite check, not guaranteed95%)
p=0.01 n=1000 mean=0.010042 empiricalSD=0.003122 exactSD=0.003146 zeroFraction=0.000000 exactPzero=0.000043
  fraction within1.96 known SD: 0.966000 (a finite check, not guaranteed95%)
Original observations stay Bernoulli; CLT concerns standardised sample means.
Rare p=.01,n20 is mostly zero and poorly represented by a smooth Gaussian.

先预测模型标准误、罕见无成功概率及支撑间距。1.96 个标准误带内比例只是有限诊断，不是精确 95% 定理；原始抽样仍是 Bernoulli。

实验 2 · 估计与不同不确定性量

下载 lab2_monte_carlo_error.py

"""Finite-event Monte Carlo; optional continuous integration requires Module17."""
from math import sqrt, log
import random

if __name__ == "__main__":
    generator = random.Random(24242)
    hits = 0
    sum_square = 0.0
    for n in range(1, 10001):
        # A weighted finite event with total mass .3, represented by a threshold.
        hits += generator.random() < .3
        u = generator.random()
        sum_square += u*u
        if n in (100, 1000, 10000):
            estimate = hits/n
            plugin_se = sqrt(estimate*(1-estimate)/n)
            known_se = sqrt(.3*.7/n)
            radius = sqrt(log(2/.05)/(2*n))
            print("CS finite event N=%5d estimate=%.6f exact=.3 estimatedSE=%.6f modelSE=%.6f Hoeffding95%%radius=%.6f" % (
                n, estimate, plugin_se, known_se, radius))
            integral = sum_square/n
            print("AI integral x^2 on[0,1] N=%5d estimate=%.6f exact=1/3 modelSE=%.6f" % (
                n, integral, sqrt((4/45)/n)))
    print("Quadrupling N halves the IID standard error, not necessarily one realised error.")
    print("Monte Carlo sampling error differs from deterministic quadrature truncation error.")

CS finite event N=  100 estimate=0.230000 exact=.3 estimatedSE=0.042083 modelSE=0.045826 Hoeffding95%radius=0.135810
AI integral x^2 on[0,1] N=  100 estimate=0.384036 exact=1/3 modelSE=0.029814
CS finite event N= 1000 estimate=0.284000 exact=.3 estimatedSE=0.014260 modelSE=0.014491 Hoeffding95%radius=0.042947
AI integral x^2 on[0,1] N= 1000 estimate=0.332519 exact=1/3 modelSE=0.009428
CS finite event N=10000 estimate=0.298600 exact=.3 estimatedSE=0.004576 modelSE=0.004583 Hoeffding95%radius=0.013581
AI integral x^2 on[0,1] N=10000 estimate=0.330839 exact=1/3 modelSE=0.002981
Quadrupling N halves the IID standard error, not necessarily one realised error.
Monte Carlo sampling error differs from deterministic quadrature truncation error.

CS 使用有限事件，AI 另推连续积分及方差。区分模型标准误、代入标准误、Hoeffding 半径和实际误差；解释样本量四倍为何减半标准误，却不能排列所有实现误差。

实验 3 · 种子副本、簇与共同随机数

下载 lab3_dependence_seeds_and_pairing.py

"""Copied streams, clustered observations, zero estimated SE and common random numbers."""
from math import sqrt, log
import random

if __name__ == "__main__":
    n, repeats, p = 1000, 30, .3
    means = []
    for _ in range(repeats):
        generator = random.Random(24)  # Intentional fault: identical stream each time.
        means.append(sum(generator.random() < p for _ in range(n))/n)
    print("copied-seed blocks: unique means=%d mean=%.6f" % (len(set(means)), means[0]))
    print("wrong R*N independence SE=%.6f actual copied-block model SE=%.6f" % (
        sqrt(p*(1-p)/(repeats*n)), sqrt(p*(1-p)/n)))
    assert len(set(means)) == 1
    generator = random.Random(24343)
    clusters, copies = 100, 10
    distinct = [int(generator.random() < p) for _ in range(clusters)]
    records = [x for x in distinct for _ in range(copies)]
    print("cluster copies: nominalN=%d independentClusters=%d mean=%.6f" % (
        len(records), clusters, sum(records)/len(records)))
    print("wrong row SE=%.6f correct cluster model SE=%.6f" % (
        sqrt(p*(1-p)/len(records)), sqrt(p*(1-p)/clusters)))
    N = 100
    print("rare-event all-zero dataset: estimatedSE=0; model p=.001 gives P(all0)=%.6f" % (.999**N))
    print("bounded independent Hoeffding95%%radius=%.6f despite zero plug-in SE" % sqrt(log(40)/(2*N)))
    a, b = .6, .55
    paired_variance = (a-b)*(1-a+b)
    independent_variance = a*(1-a)+b*(1-b)
    paired, separate = [], []
    for _ in range(10000):
        u = generator.random()
        paired.append(int(u<a)-int(u<b))
        separate.append(int(generator.random()<a)-int(generator.random()<b))
    print("common-random-number difference mean=%.6f independent difference mean=%.6f target=.05" % (
        sum(paired)/len(paired), sum(separate)/len(separate)))
    print("exact per-pair variance: common=%.6f independent=%.6f" % (paired_variance, independent_variance))
    print("exact N10000 SE: common=%.6f independent=%.6f" % (
        sqrt(paired_variance/10000), sqrt(independent_variance/10000)))
    print("PASS: replication is not new information; pairing helps here through positive covariance")

copied-seed blocks: unique means=1 mean=0.305000
wrong R*N independence SE=0.002646 actual copied-block model SE=0.014491
cluster copies: nominalN=1000 independentClusters=100 mean=0.220000
wrong row SE=0.014491 correct cluster model SE=0.045826
rare-event all-zero dataset: estimatedSE=0; model p=.001 gives P(all0)=0.904792
bounded independent Hoeffding95%radius=0.135810 despite zero plug-in SE
common-random-number difference mean=0.048200 independent difference mean=0.046100 target=.05
exact per-pair variance: common=0.047500 independent=0.487500
exact N10000 SE: common=0.002179 independent=0.006982
PASS: replication is not new information; pairing helps here through positive covariance

接受误差条以前找出真正独立单位。修正零标准误确定性说法，并在所指定模型中推导正协方差的配对收益。

练习 1–12 必做，选学 13–14 在十小时以外增加 35 分钟。连续替代需模块 17，占用相同时间。

参考 MIT 弱法则课、CLT 课和 Hoeffding 概率讲义。本课完整推导初等界和均值协方差应用。

证明 Markov、切比雪夫和有限方差弱法则，带条件陈述 CLT 与 Hoeffding，算样本量并报告蒙特卡洛不确定性，推导配对和复制如何改变波动。

结业任务：ε=.05、δ=.05 时比较充分 Bernoulli 样本量 2000 与 738，解释为何二者都不适用于一个抽样的 N 个副本。区分标准误、实现误差与确定性数值界。

进入下一课的标准：能够评估抽样声明并报告有依据的估计。下一课推似然、偏差、方差和贝叶斯参数更新，不再将所有率视为已知。返回课程总览。