随机变量、分布与变换

概率模型赋予事件质量，随机变量则把结果映射到数值。本课推离散分布，区分密度与概率，构造分布函数和分位数，变换时保留原像及Jacobian因子。每个模型都对应生成过程和明确支持，而非只因曲线熟悉就选用。

检索检查： 模块 21 提供事件、条件与独立。连续AI分支： 密度、连续抽样推导及变量替换需要模块 17。CS路线学习全部离散材料，用第3节的离散衔接，省略实验及练习中标记连续的部分，以同样时间练习离散CDF和变换。

实随机变量X把Ω映射到R。有限模型任意此映射都有效；一般可测性要求所有实t的{ω:X(ω)≤t}为事件。实验发生前，随机变量是完整函数；实现数值x=X(ω)是观察，ω可能含比x更多的信息。两硬币映射到正面数时，HT和TH都变成1。因此结果、变量、观察是不同对象。

X的分布通过原像赋值集概率：P(X∈S)=P({ω:X(ω)∈S})。不同映射或实验可能同分布；相同显示值也可在不同模型有不同质量。离散PMF p_X(x)=P(X=x)非负，在可数支持上总和1。这里离散支持指正质量值，其外质量零。连续分布描述支持区间或邻域，因为单点质量零。

CDF F_X(t)=P(X≤t)对离散、连续、混合均存在。事件随t增加，故F非减；由嵌套事件概率连续性，负正无穷极限为0、1。右连续：t_k↓t时{X≤t_k}递减到{X≤t}，模块21给F(t_k)→F(t)。左极限F(t−)=P(X<t)由从下趋近阈值得到。因此t处跳跃恰为P(X=t)。

任意a<b，P(a<X≤b)=F(b)−F(a)。左严格、右包含在原子处重要。P(a≤X≤b)=F(b)−F(a−)，P(X>b)=1−F(b)，P(X≥b)=1−F(b−)。这些由不交事件分解得到，不假定密度。无端点质量的连续分布部分区别数值相同，离散不可悄悄丢端点。即使生成分布连续，有限经验CDF也在观测处跳跃。

有限表按值排序后累加质量，保留≤约定。若用斜线连接CDF跳跃端点，会误示没有质量处也改变概率。PMF条与CDF阶梯表示不同量：一是某值质量，一是到阈值累积概率。坐标需明确对象，变换后合并质量并重新按输出值排序。

边缘分布不指定另一变量的联合依赖。两变量都可为公平Bernoulli，却可能相同、相反或独立，边缘PMF相同而联合事件不同。下课讨论联合和期望；现在不能没有模块21的独立假设就乘边缘质量。已有变量的函数也与该变量保持依赖，即使输出分布有熟悉名称。

分布也不同于表示精度。把连续测量舍入到箱中产生离散报告变量，各箱质量是原区间概率。传感器按十分位报告.3可能代表一段输入而非单点.3。比较精确点观察与密度前需写测量及平局约定；重复舍入标签不单独证明底层物理量有原子。

Bernoulli取0、1，概率1−p、p，0≤p≤1，常为事件指示。端点p=0、1是有效退化分布。Categorical取k标签，质量p_i≥0和1；用整数编码不让标签数值距离有意义。抽到的类下标是类别变量，预测概率向量则描述分布而非实现类别。

Binomial数固定n个独立、相同p的Bernoulli试验成功数。k=0,…,n时，选择k个成功位置有comb(n,k)种，每模式质量p^k(1−p)^{n−k}，所以PMF为两者乘积。不交成功数事件划分全部模式，或二项式定理证明归一。p=0、1直接处理，避免数值0^0歧义。独立、共同p、固定n都是模型假设，不从观察计数自动得来。

几何试验数T是独立重复、固定0<p≤1的首次成功下标，支持从1，P(T=k)=(1−p)^{k−1}p。失败数约定G=T−1从0，P(G=k)=(1−p)^k p，必须注明。0<p<1时前K质量和1−(1−p)^K，余尾(1−p)^K。p=1时T=1；p=0无有限首次成功，因此有限值几何PMF不归一。

尾P(T>m)=(1−p)^m给无记忆：条件质量正时P(T>m+n|T>m)=(1−p)^n。独立同分布尝试下，已失败m次不改变等待机制。失败后成功率变化的系统不符合几何故事；重复尝试可依赖或危险率变化，等待计数本身不建立无记忆及恒p。

Poisson为非负整数计数，参数λ≥0，PMF exp(−λ)λ^k/k!，k=0,1,…；λ=0解作零点质量1。归一用指数级数恒等式Σλ^k/k!=exp(λ)，离散路线可接受该陈述，无需模块16微积分证明。常见机制是独立增量、恒事件率的齐次过程在固定区间计数，λ为率乘时长。它不自动适用于每个计数、聚集过程或变率区间。

λ=2时零质量exp(−2)≈.135335，一质量2exp(−2)≈.270671。0至K有限表总和小于1因为漏正尾，不是模型无效。归一截表改变为X≤K的条件模型，实验1明确报告余质量。大参数直接幂及阶乘可溢出，后续稳定对数处理算术，但支持和生成假设不变。

从固定有限集无放回抽样通常给超几何而非二项计数，移除物品使后续成功率改变。抽样比例小可考虑二项近似，但必须注明近似及足够误差标准。命名分布是机制的紧凑描述，仅匹配平均计数或直方图形状不足以建立全部假设。

CS衔接： PMF直接给离散值概率，CDF用≤累加。练习端点恒等式及上面的类别、二项、几何例。本节余下和全部标记连续计算需要模块17；CS可省略，继续离散分位数及变换。这不是给离散路线增加隐含微积分先修。

连续AI分支： 绝对连续分布有非负密度f_X，全R积分1，P(a<X≤b)=∫_a^b f_X(x)dx。PDF是高度，不是事件概率，可超过1，单位为x单位的倒数。改一个点的密度不改变概率。即使密度正，连续点概率零。并非全部分布都有普通PDF：离散原子及混合模型需保留点质量。

Uniform(a,b)、a<b在(a,b)密度1/(b−a)，外零，内部CDF线性。端点密度版本不改积分。指数率λ>0在x≥0密度λexp(−λx)，负值零，CDF为1−exp(−λx)，积分1。率λ和尺度1/λ是不同约定：前者倒数时间、后者时间。指数尾乘积给正条件尾下无记忆，描述恒率模型，并非全部等待时间必有性质。

Gaussian N(μ,σ²)、σ>0在全R密度exp(−(x−μ)²/(2σ²))/(σ√(2π))。归一用经典Gaussian积分∫exp(−z²/2)dz=√(2π)，本课陈述事实，不假装由初等原函数规则证明。z=(x−μ)/σ再给尺度因子。CDF通常无初等闭式，以数值或特殊函数求。σ=0是μ处退化原子，不是代入除零公式。

Laplace(μ,b)、b>0密度exp(−|x−μ|/b)/(2b)。在μ分割，两指数半各积分1/2。CDF在μ下为exp((x−μ)/b)/2，上为1−exp(−(x−μ)/b)/2。峰有折角，指数尾比Gaussian重，选为噪声是机制假设。对称或少量中心观察不唯一确定分布族。

混合模型可在零放.3质量，再将.7均匀放(0,1)。CDF零以下0，零跳至.3，内部.3+.7t，1处达到1。内部密度.7只代表连续部分，积分.7，不能代表全部模型。有真正点质量和连续测量的数据需混合表示，强塞纯PMF或让普通PDF吞原子会丢信息。

绝对连续X的F是密度积分，在合适正则处F′=f；不需要每点都可微。一般分布即使无普通密度CDF仍有效。因此通过F计算区间常比从平滑图推密度可靠。调用数值库PMF或PDF前，先明确分布数学类型。

0<u<1定义广义分位Q(u)=inf{x:F(x)≥u}。极限性质保证内部u的阈值有限，右连续保证F(Q(u))≥u。单调及右连续给关键等价Q(u)≤t当且仅当u≤F(t)。严格增连续CDF有普通逆，离散阶梯需广义定义。分位水平是概率，输出是变量单位。

由等价得逆CDF抽样：理想U均匀(0,1)，P(Q(U)≤t)=P(U≤F(t))=F(t)。离散路线可视为按累积概率区间长度选值，不需密度积分即可实现有限加权抽样，正确性是区间质量恒等式。连续分支同论证用均匀区间模型给目标连续分布。

离散有序x₁<…<x_m、累积c_j，取第一个c_j≥u的j返回x_j。区间(c_{j−1},c_j]长度p_j，零质量为空区间可移除。正面计数1/4、1/2、1/4给Q(.2)=0、Q(.5)=1、Q(.9)=2，按下确界约定Q(.25)=0。平局与端点应明确，不依赖软件未说明的插值。

连续指数逆解u=1−exp(−λx)，得x=−log(1−u)/λ。小u用log1p(−u)精确计算log(1−u)，排除u=1否则无限。仿射均匀用a+(b−a)u。这些假设输入均匀；有限精度伪随机实际上从有限可表示格抽样，近似理想连续机制。可复现和数值细节与精确分布定理分开。

观察x₁,…,x_N的ECDF F_N(t)=Σ1{x_i≤t}/N，是每观察质量1/N的离散分布，重复值合成较大跳跃。有序值的右插入下标实现≤，左插入只算严格小于。连续数据的有限ECDF仍阶梯，因为仅有限观察；平滑得到另一估计器，不是ECDF定义。

在明确阈值比较经验与理论CDF，不要求有限样本精确匹配。种子轨迹可展示抽样，不建立通用偏差保证，模块24再给集中和极限。软件分位插值可能与广义逆不同，尤其小样本和平局。中位、百分位或尾阈值用于算法和基准时，需报告约定，分布定义与数值摘要包含关系应一致。

探索器比较二项PMF与阶梯CDF，连续分支再比较均匀PDF与CDF。分别报告P(X=t)、P(X≤t)及质量或密度，切换时高度含义改变。Uniform(0,.5)的PDF为2，仍总质量1且单点零。

Y=g(X)从事件恒等式P(Y∈S)=P(X∈g⁻¹(S))开始。离散p_Y(y)=Σ_{x:g(x)=y}p_X(x)。单射仅重标质量，多对一加所有原像。输出支持是原正质量支持的像，不是公式能求值的所有数。变换可减少可能值，也仍依赖原变量。

连续AI分支： g在相关区间可微严格单调、逆可微，则变换支持上f_Y(y)=f_X(g⁻¹(y)) |(g⁻¹)′(y)|。递增时F_Y=F_X∘g⁻¹，链式求导给逆导。递减时事件变为X≥g⁻¹(y)，无点质量时补CDF给负导，绝对值统一两种并保证非负。

Y=cX+d、c≠0给f_Y(y)=f_X((y−d)/c)/|c|，倒数因子补偿区间伸缩。X均匀(0,1)、Y=2X因此在(0,2)密度1/2，漏因子会总质量2。c=0则Y在d原子，公式不适用，除零不能表示退化分布。Jacobian描述坐标体积，不是改变总概率。

非一对一g需分单调分支，加各逆贡献，处理支持和临界例外。X均匀(−1,1)、Y=X²给F_Y(y)=P(−√y≤X≤√y)=√y，0≤y≤1。内部导得1/(2√y)，正负逆各贡献1/(4√y)，漏一支损半质量。零附近奇异密度可积：∫_0^1 1/(2√y)dy=1，P(Y=0)=0。

先CDF常比死记单逆可靠。支持外概率密度零；特殊点可能需单独原子处理。若g把正概率区间压到一个值，则产生原子，绝对连续输入不总给绝对连续输出。例X均匀(−1,1)，max(X,0)有零原子1/2及(0,1)密度1/2。

核查单位与归一。X秒、Y=1000X毫秒，数值密度缩小1000，因为单位变为每毫秒；一致换算后区间概率相同。因此连续似然密度依观察单位，一致变换两模型的似然比共享并消掉坐标因子，但跨不一致单位比较原高度无意义。后续估计再区分密度似然与点事件概率。

依合理生成故事选族并检查支持。Bernoulli为一个二元事件，Categorical为一个标签，Binomial为固定独立尝试成功数，Geometric为稳定重复首次成功，Poisson为指定率机制计数。连续等待可在无记忆假设下用指数，Gaussian或Laplace误差需合适位置、尺度和尾故事。曲线匹配或只知“随机”不供应这些假设。

支持错误常比拟合错误易发现。首次成功试验数不可能0，失败数可以。精确Poisson非负整数，Gaussian允许负和非整数；适当情形Gaussian可近似计数，但误差及边界需另证。均匀区间端点要递增，指数率和Gaussian标准差要正。

实现需写单位与参数名：率/尺度、方差/标准差、试验/失败。类别权需非负、总权正才归一，拒空表及非法参数。有限分布能精确则精确求和，无限前缀报告尾。小数值归一误差不同于大漏支、负质量或错支持，先说明数学对象再修数值。

以数值CDF差求极短区间或极远尾可能因相消损精度。专门生存函数可比从舍入的近1CDF减去更精确。它改变公式求值方式，不改事件恒等式。记录阈值、包含约定与数值法，避免把报告的零尾误当数学不可能。

实验标准库有限质量用精确分数，抽样用局部种子，输出明确标CS与连续AI。CS只检查离散段，用原像/CDF替代连续练习；AI用模块17推及核积分。模拟只在几个阈值比较经验CDF，不承诺未经证明的全阈值精度。Gaussian及指数样本是数值抽取，非精确连续统。

学习目标中离散观察似然用PMF，绝对连续观察用指定坐标参考下PDF。具体x的连续密度不等于P(X=x)，记录乘积也需抽样分解假设。模块25由这些区别推估计与损失；现在的完整成果是推导分布、正确包含端点的概率及通过总质量和支持核查的变换。

实验1 · 离散PMF CDF及无限尾

下载 lab1_discrete_distributions.py

"""Exact binomial/geometric tables; numerical Poisson partial sums."""
from fractions import Fraction as F
from math import comb, exp, factorial

if __name__ == "__main__":
    n, p = 5, F(2, 5)
    masses = [F(comb(n, k))*p**k*(1-p)**(n-k) for k in range(n+1)]
    cumulative = F(0)
    for k, mass in enumerate(masses):
        cumulative += mass
        print("binomial k=%d pmf=%s cdf=%s" % (k, mass, cumulative))
    assert cumulative == 1
    print("binomial P(X>=3)=%s = %.8f" % (sum(masses[3:]), float(sum(masses[3:]))))
    p = F(1, 4)
    K = 10
    partial = sum((p*(1-p)**(k-1) for k in range(1, K+1)), F(0))
    tail = (1-p)**K
    print("geometric trials support starts at1: sum1..10=%s remaining=%s" % (partial, tail))
    assert partial+tail == 1
    print("geometric P(X>3)=%s" % ((1-p)**3))
    rate = 2.0
    for K in (5, 10, 20):
        partial = sum(exp(-rate)*rate**k/factorial(k) for k in range(K+1))
        print("Poisson lambda=2 sum0..%d=%.12f remainder=%.3e" % (K, partial, 1-partial))
    print("PASS: finite normalisation exact; an infinite table needs an explicit tail")

binomial k=0 pmf=243/3125 cdf=243/3125
binomial k=1 pmf=162/625 cdf=1053/3125
binomial k=2 pmf=216/625 cdf=2133/3125
binomial k=3 pmf=144/625 cdf=2853/3125
binomial k=4 pmf=48/625 cdf=3093/3125
binomial k=5 pmf=32/3125 cdf=1
binomial P(X>=3)=992/3125 = 0.31744000
geometric trials support starts at1: sum1..10=989527/1048576 remaining=59049/1048576
geometric P(X>3)=27/64
Poisson lambda=2 sum0..5=0.983436391519 remainder=1.656e-02
Poisson lambda=2 sum0..10=0.999991691776 remainder=8.308e-06
Poisson lambda=2 sum0..20=1.000000000000 remainder=5.995e-15
PASS: finite normalisation exact; an infinite table needs an explicit tail

预测精确二项尾、几何余质量及Poisson前缀。说明有限二项归一与无限Poisson前缀为何用不同检查。

实验2 · 样本与经验CDF

下载 lab2_sampling_and_ecdfs.py

"""Seeded discrete/continuous samples with exact CDF references; standard library."""
from bisect import bisect_right
from math import log1p, exp
import random


def geometric_trials(u, p):
    if not 0 < p <= 1 or not 0 <= u < 1:
        raise ValueError("require 0<p<=1 and0<=u<1")
    if p == 1:
        return 1
    # First k with 1-(1-p)^k >= u.
    import math
    return max(1, math.ceil(log1p(-u)/log1p(-p)))


if __name__ == "__main__":
    generator = random.Random(22022)
    N = 20000
    # The finite generator can return0: assign that endpoint to the first trial.
    geometric = sorted(geometric_trials(generator.random(), .25) for _ in range(N))
    print("CS branch: geometric trials, p=.25, N=20000")
    for t in (1, 3, 5, 10):
        empirical = bisect_right(geometric, t)/N
        exact = 1-.75**t
        print("t=%2d empirical CDF=%.6f exact=%.6f" % (t, empirical, exact))
    # AI branch uses Module17 integration to derive these analytic CDFs.
    exponential = sorted(-log1p(-generator.random())/2 for _ in range(N))
    normal = sorted(generator.gauss(0, 1) for _ in range(N))
    print("AI continuous branch: exponential rate2 and standard Gaussian")
    for t in (.25, .5, 1.):
        print("exponential t=%.2f empirical CDF=%.6f exact=%.6f" % (
            t, bisect_right(exponential, t)/N, 1-exp(-2*t)))
    from math import erf, sqrt
    for t in (-1., 0., 1.):
        print("Gaussian t=%+.1f empirical CDF=%.6f exact=%.6f" % (
            t, bisect_right(normal, t)/N, .5*(1+erf(t/sqrt(2)))))
    print("ECDF uses <= via bisect_right; a single trace is not an error theorem.")

CS branch: geometric trials, p=.25, N=20000
t= 1 empirical CDF=0.251550 exact=0.250000
t= 3 empirical CDF=0.583400 exact=0.578125
t= 5 empirical CDF=0.770100 exact=0.762695
t=10 empirical CDF=0.945750 exact=0.943686
AI continuous branch: exponential rate2 and standard Gaussian
exponential t=0.25 empirical CDF=0.393850 exact=0.393469
exponential t=0.50 empirical CDF=0.630350 exact=0.632121
exponential t=1.00 empirical CDF=0.863400 exact=0.864665
Gaussian t=-1.0 empirical CDF=0.161500 exact=0.158655
Gaussian t=+0.0 empirical CDF=0.499350 exact=0.500000
Gaussian t=+1.0 empirical CDF=0.841250 exact=0.841345
ECDF uses <= via bisect_right; a single trace is not an error theorem.

CS检查几何段及分位，AI还用模块17推指数与Gaussian参考CDF。解释≤、局部种子及有限轨迹边界。CS以推离散逆抽样代替连续公式时间。

实验3 · 变换与支持错误

下载 lab3_transformation_and_support_faults.py

"""Many-to-one discrete transforms, Jacobian correction, and support diagnostics."""
from fractions import Fraction as F
from math import sqrt, exp

if __name__ == "__main__":
    masses = {-2: F(1, 4), -1: F(1, 4), 1: F(1, 4), 2: F(1, 4)}
    transformed = {}
    for x, mass in masses.items():
        transformed[x*x] = transformed.get(x*x, F(0)) + mass
    print("CS branch X masses:", {x: str(p) for x, p in masses.items()})
    print("Y=X^2 masses (sum every preimage):", {y: str(p) for y, p in transformed.items()})
    assert sum(transformed.values()) == 1
    print("support diagnosis: waiting trials cannot be0; geometric failures can be0")
    print("Poisson counts include0; Gaussian counts can be negative/noninteger, so are not a count model")
    print("AI continuous branch requires Module17: X uniform(0,1), Y=2X")
    print("wrong density1 on(0,2): total mass=2; corrected density1/2: total mass=1")
    print("nonmonotone example X uniform(-1,1), Y=X^2")
    for y in (.04, .25, .81):
        cdf = sqrt(y)
        density = 1/(2*sqrt(y))
        print("y=%.2f CDF=%.6f density=%.6f" % (y, cdf, density))
    eps = 1e-4
    corrected_mass = 1-sqrt(eps)  # integral eps..1 of 1/(2sqrt(y))
    omitted_branch_mass = corrected_mass/2
    print("mass eps..1: both branches=%.6f one branch only=%.6f omitted0..eps=%.6f" % (
        corrected_mass, omitted_branch_mass, sqrt(eps)))
    assert abs(corrected_mass+sqrt(eps)-1) < 1e-12
    print("exponential rate2: density at0=2, P(X=0)=0, P(0<X<=.1)=%.8f" % (1-exp(-.2)))
    print("PASS: discrete preimages add; continuous inverse branches need absolute Jacobians")

CS branch X masses: {-2: '1/4', -1: '1/4', 1: '1/4', 2: '1/4'}
Y=X^2 masses (sum every preimage): {4: '1/2', 1: '1/2'}
support diagnosis: waiting trials cannot be0; geometric failures can be0
Poisson counts include0; Gaussian counts can be negative/noninteger, so are not a count model
AI continuous branch requires Module17: X uniform(0,1), Y=2X
wrong density1 on(0,2): total mass=2; corrected density1/2: total mass=1
nonmonotone example X uniform(-1,1), Y=X^2
y=0.04 CDF=0.200000 density=2.500000
y=0.25 CDF=0.500000 density=1.000000
y=0.81 CDF=0.900000 density=0.555556
mass eps..1: both branches=0.990000 one branch only=0.495000 omitted0..eps=0.010000
exponential rate2: density at0=2, P(X=0)=0, P(0<X<=.1)=0.18126925
PASS: discrete preimages add; continuous inverse branches need absolute Jacobians

离散段合平方原像、检查等待及计数支持；需模块17的连续段修仿射因子与遗漏逆支，再区分密度2和概率。所有输出从显示的可下载代码实际捕获。

练习1–12必做，路线替代占相同时间；选做13–14在十小时核心外增35分钟。

使用MIT 6.041SC随机变量与分布材料，以及作者Mathematics for Machine Learning配套页概率选读。连续需模块17，CS选离散PMF、CDF和变换。

区分结果、映射、实现；推PMF，用CDF端点算事件，写分位抽样及多对一变换。AI额外检查密度积分与绝对逆因子。

结业任务： 推二项尾992/3125、几何.5分位3，以及含两符号的平方分布，说明每个高度代表何数学对象。

可以继续： 你能按明确假设选择及变换分布。期望和联合模型接下来连接平均成本、变异及依赖。见课程总览。