向量、几何与数组记法

数据记录可写数字列表，点积或距离看似直接，却依赖特征顺序、单位、运算。厘米变米，即使物理记录不变，也可改变未加权最近邻。列数组与平坦数组混用可产生全部两两差，而非预期配对差。

本模块一起发展数学与实现约定，区分点与位移，推导长度与角度界，比较范数，计算前查形状。数值调用成功说明可执行，数学解释仍需坐标代表什么的假设。

回忆检查：实数元组、有限和、笛卡尔积。按需复习模块 01、模块 03，不假设已有线性代数。实验前完成 NumPy 数组准备，需要时约三十分钟额外准备。数值基线为其中说明的 Python 3.11 与固定 NumPy 环境。

标量是缩放向量的单数值，这里为实数。$\mathbb R^d$ 中的坐标向量是 d 个实数的有序元组，正整数 d 为坐标数。模块 03 的笛卡尔积构造给所有这些元组集合。顺序属于规格，(身高,年龄) 与 (年龄,身高) 特征约定不同，即使数组都长二。

几何向量可描述与画在何处无关的位移，箭头记录大小与方向。平移箭头、不旋转拉伸，保持位移。数据元组则可收集不同单位特征，写成向量允许坐标代数，不自动赋欧几里得长度物理意义。

点是位置，位移连接位置。选定坐标系中，q−p 是从 p 到 q 的位移。原点平移使两点坐标同加偏移，差不变。位置与位移可能用相同元组记法，因此上下文要明确加或比的对象。

零向量全零，描述无位移，是长度零的有效向量，不是缺失观测。未知年龄需另设缺失表示，填零会断言数值并改几何。类别编码 1,2,3 也不因数字形式而有有意义距离，编码决定比较意义。

坐标单位向量 eᵢ 在第 i 项一，其他零。$x=\sum_{i=1}^d x_i e_i$ 表每坐标沿自己轴贡献。二维 (3,4)=3(1,0)+4(0,1)，这些方向单位长且在普通点积下互相垂直。模块 11 再发展一般基、维数与坐标变化。

加比向量需相同维数与对应含义，不能三特征与两特征配对时默删一项。长度相同也不保证顺序同。实验在 zip 前查长度，因为 Python zip 默认到较短者结束，可隐藏模型错。

数学维数 d 不同存储轴。三坐标向量可存一轴 (3,) 或两轴 (3,1)，一百个这样的向量表 (100,3) 每观测仍三坐标。分开观测数、特征数与容器轴数，可防混淆。

向量加法、标量乘逐坐标：$(u+v)_i=u_i+v_i$，$(\alpha u)_i=\alpha u_i$，结果同维。位移箭头相加把第二尾放第一头，总位移从起点到终点。负缩放反方向、正保方向、零缩放成零。

实数逐坐标运算给加法交换结合、零单位、−u 加逆、缩放分配。例如 α(u+v)=αu+αv 因每坐标成立。因此有限向量和在实数模型可重排分组。浮点不同分组可能改小舍入误差，模块 28 另讲。

线性组合 $\sum_{j=1}^k\alpha_jv_j$ 使用实系数与同维向量，系数不必正或和一。2(3,4)+3(4,−3)=(18,−1) 合法，坐标可超原端点。它是代数构造，不必是插值或概率加权平均。

过点 p、非零方向 u 的直线为 p+tu，t 实数；t∈[0,1] 给 p 到 p+u 线段，其他延长。u=0 时只有 p，称完整直线误导。仿射直线有偏移 p，而 tu 直线过选定原点。

点的仿射组合系数和一，两点为 (1−t)p+tq。0≤t≤1 在线段插值，范围外外推。两点同加 b 后组合恰加 b，因为和一。和非一会缩放平移，使点的结果错误依赖坐标原点。

凸组合为非负系数的仿射组合。系数条件是代数条件，是否真实概率要另模型。连续特征混合可能有意义，但类别编码或受限对象不一定；两个有效记录混合不必对应物理有效或实际存在个人。

特征操作要保单位，米位移倍增仍米，米加米有意义。把秒与米坐标和当一个物理长度没有自动解释。可有意选加权数值学习几何，但记录选择与尺度，代数相容和应用意义都要。

重排要一致应用所有比较对象，同一坐标排列保点积与下面标准范数，仅排一者则混特征、改结果。这区分表示改变与关系改变，形状检查无法识别顺序错。

例如 (身高,年龄)=(170,20)，另一存 (年龄,身高)=(30,180)，长度匹配但首项配对会把身高乘年龄。把第二改 (180,30) 修复对应，选尺度仍另任务。可靠数据接口在形状外记录名称与单位。

普通实点积 $u\cdot v=\sum_{i=1}^d u_iv_i$ 为标量，逐项乘保向量则不同。点积对称、每参数线性：u·(αv+βw)=α(u·v)+β(u·w)。自积为平方和，非负，且恰全坐标零时零。欧几里得长度 $\|u\|_2=\sqrt{u\cdot u}$。

u·v=0 称正交，非零普通几何表示垂直。零向量代数上与所有正交，但无方向或普通角度。因此点积谓词与几何角度域不同。平面 (3,4),(4,−3) 点积十二减十二为零。

先介绍角度：锐角直角三角形余弦为邻边除斜边，扩为有符号方向对齐，同方向一、直角零、反方向负一。非零向量夹角零到 180 度，等价零到 π 弧度，π 弧度是半圈。反余弦为 [−1,1] 对齐值选该范围角度。

两非零向量有 $u\cdot v=\|u\|_2\|v\|_2\cos\theta$。平面选单位 û=u/||u||₂ 与垂直 (−u₂,u₁)/||u||₂，v 沿 û 的有符号分量 v·û，除 ||v||₂ 按直角几何给余弦，再乘回得公式。并不声称任意无关特征元组已有有用物理夹角。

柯西–施瓦茨不等式 $|u\cdot v|\leq\|u\|_2\|v\|_2$。形成余弦前先证明：v=0 两边零；否则取 t=(u·v)/(v·v)，展开非负 ||u−tv||₂² 得 ||u||₂²−(u·v)²/||v||₂²≥0，乘正分母、取非负根得结论。

两者非零时等号当且仅当 u−tv=0，即标量倍。正倍余弦一，负倍负一。一者零也满足不等式等号，却仍未定义余弦。不能因不等式包含零就用零自积作分母。

此不等式保证非零余弦商在 [−1,1]。浮点舍入可能略越界，角度显示可在非零、形状检查后把商夹回范围。这是局部数值显示政策，不是新数学不等式。大幅度或下溢需更多处理，超本小坐标实验。

点积依选定几何，某特征缩放改积与角度。加权内积可建另一几何，但要声明假设。AI 注意力与许多相似计算用学习坐标点积，应用含义依构造坐标方式，不只因对应项可相乘。

范数赋非负长度，恰零向量时零，||αu||=|α| ||u||，以及三角不等式 ||u+v||≤||u||+||v||。只有非负不够，候选长度需所有律，使缩放、抵消、路径长度一致。欧几里得只是多种坐标范数之一。

曼哈顿范数 $\|u\|_1=\sum_i|u_i|$，最大范数 $\|u\|_\infty=\max_i|u_i|$。正性与缩放由绝对值；曼哈顿逐项 |uᵢ+vᵢ|≤|uᵢ|+|vᵢ| 再和。最大范数中每坐标和绝对值≤||u||∞+||v||∞，取最大即三角律。

欧几里得展开 ||u+v||₂²=||u||₂²+2u·v+||v||₂²，柯西–施瓦茨界中项，结果≤(||u||₂+||v||₂)²。非负取根证明三角律，这是点积定理连接范数公理，不凭普通图假设所有维数。

平方欧几里得长度用于目标，却自身不是范数：α 缩放给 α² 而非 |α|。u=v=(1,0)，和平方长四，大于各平方一加一，三角失败。“平方范数”描述构造，不把范数律全转给新函数。

非负距离平方保排序，最近邻只需次序可省根。但数值与度量性质改了：实线零到二平方距四，大于零到一及一到二平方距和二。排序捷径不等于可把新函数代入需要三角律的度量证明。

度量 d(p,q) 非负、恰 p=q 时零、对称且 d(p,r)≤d(p,q)+d(q,r)。范数诱导 d(p,q)=||q−p||，正性给前两，−1 齐次给对称，(q−p)+(r−q) 三角给度量三角。此时对象是点间距，不是单个位移长。

查询 (0,0)，P=(1,100),Q=(3,0)，坐标小时、厘米。未加权欧距约 100.005 与三，选 Q。厘米转米后 P=(1,1) 距 √2，Q 仍三，选 P。物理测量未变，固定数值权重使几何改变。

正尺度 s 定义 dₛ(p,q)=sqrt(∑ᵢsᵢ²(qᵢ−pᵢ)²)，先可逆坐标缩放再欧距，所以为度量。转换单位欲保原度量，要尺度反向调整。若某尺度零，不同点只在该坐标差也可距零，违反同一性条件。

固定有限 d，标准范数满足 ||u||∞≤||u||₂≤||u||₁≤√d ||u||₂。前界比最大平方、平方和、绝对项和平方；最后柯西–施瓦茨用于绝对项向量与全一。它们比长度，不保证相同邻居排序，常数依维数。

选范数与尺度要模型理由，网格局部路程、记录长度、最大分量误差可偏不同量。数值意义相对选择与特征。统计预处理后讲训练集学习尺度，本课用明确单位转换，不需要未学统计。

非零 u 的归一化 û=u/||u||₂。齐次给长一，分母正所以保方向。(3,4) 为 (0.6,0.8)。不是除坐标和，负项抵消会使项和不适合一般长度。

零向量长零无方向，不能按式归一。应用须声明拒绝、未定义分数或另有依据的约定。默加小数分母改变函数，应解释政策，不能当原几何定义。

非零两者余弦相似度 $\operatorname{cosim}(u,v)=(u\cdot v)/(\|u\|_2\|v\|_2)=\hat u\cdot\hat v$。忽略正幅度变化，α>0 替 αu 分数不变；负缩放反向改符号。一表示正平行，不表示原坐标、长度同。

单位 u,v 有 ||u−v||₂²=2−2u·v=2−2cosim。因此单位查询与单位候选中，最大余弦与最小欧距同排序含平局。推导需两者单位长，原始幅度变化另加项，排序不必相同。

归一可能丢重要幅度，如活动量或物理位移长度。只关方向时可以合适，关键是何种变化应算相似。余弦或欧距都非每嵌入、测量系统普遍正确选择。

NumPy 数组有形状元组、轴数、dtype。数学坐标要存储约定：独立向量平坦 (d,)，需方向时行 (1,d)、列 (d,1)，B 观测 d 特征表 (B,d)。模块 10 讲矩阵积，现在标特征轴已防许多错。

相容平坦 u*v 给 d 个逐项积，u @ v 给标量点积。(B,d) 表乘 (d,) 尺度通过广播每行应用特征权；np.linalg.norm(table, axis=1) 给 B 行长，漏轴可把全表塌成一个量。轴选择属于数学问题。

广播从右比长度，相同相容，一可扩，缺领先轴作一，因此 (3,1) 与 (3,) 产生 (3,3)，合法但每列项配每平坦项。成功不能判断这些两两组合是否目标，应运行前指定正确输出形状。

平坦 (d,) 转置仍一轴，不成列。用 v[:,None] 或核对项数的reshape；改 (d,1) 不改值却改操作约定。平坦化任意表可丢观测与特征轴区别，只有数学对象真是一个序列时才用。

多轴数组用于图像、批次、时间序列、AI。(B,T,d) 可能批、时间、特征，其他应用可别义，形状本身不命名。声明轴顺序、约简、允许广播，逐操作边界查输出。之后张量与自动微分基于此约定。

数值检查要结构与值一起。np.allclose 前查预期同形状，比较也能广播。容差按小浮点量选择，近似不是精确证明。循环与 NumPy 对小坐标相对绝对 10⁻¹²，代数证明独立于有限一致建立一般公式。

先完成 NumPy 准备，安装固定数值依赖。小 CPU 数组无外部数据，先预测并解释捕获输出，下载文件是执行源。

实验 A 循环计算与 NumPy 核对

预测：正交点积、三范数、位移长、(3,4) 单位方向。运行：比循环与 NumPy。解释：单位坐标轴分量和 zip 前长度检查。修改：换负坐标，保持维数，预测不变范数。数值容差与一般证明是不同证据。

下载 lab1_vectors.py

"""Loop-based vector calculations checked against NumPy on small real coordinates."""
from math import sqrt
import numpy as np

def dot(u, v):
    if len(u) != len(v):
        raise ValueError("Coordinate lengths must agree")
    return sum(a * b for a, b in zip(u, v))

def norm(u, kind):
    if kind == 1:
        return sum(abs(x) for x in u)
    if kind == 2:
        return sqrt(dot(u, u))
    if kind == "inf":
        return max((abs(x) for x in u), default=0)
    raise ValueError("This lab supports norms 1, 2, inf")

u, v = (3, 4), (4, -3)
print("u, v:", u, v)
print("Loop / NumPy dot:", dot(u, v), float(np.array(u) @ np.array(v)))
for kind in (1, 2, "inf"):
    reference = np.linalg.norm(np.array(u, dtype=float), ord=np.inf if kind == "inf" else kind)
    assert np.isclose(norm(u, kind), reference, rtol=1e-12, atol=1e-12)
    print("Norm", kind, ":", norm(u, kind), "; NumPy:", float(reference))
p, q = (1, 2), (4, 6)
displacement = tuple(b - a for a, b in zip(p, q))
print("Displacement q-p / Euclidean distance:", displacement, norm(displacement, 2))
unit = tuple(x / norm(u, 2) for x in u)
assert np.isclose(norm(unit, 2), 1, rtol=1e-12, atol=1e-12)
print("Unit direction of u:", unit)
direction = (1, 0)
projection = tuple(dot((2, 3), direction) * x for x in direction)
print("Component of (2,3) along the first unit axis:", projection)
try:
    dot([1, 2], [3])
except ValueError as error:
    print("Rejected:", error)
print("Tolerances compare numerical values; the length check prevents silent zip truncation.")

u, v: (3, 4) (4, -3)
Loop / NumPy dot: 0 0.0
Norm 1 : 7 ; NumPy: 7.0
Norm 2 : 5.0 ; NumPy: 5.0
Norm inf : 4 ; NumPy: 4.0
Displacement q-p / Euclidean distance: (3, 4) 5.0
Unit direction of u: (0.6, 0.8)
Component of (2,3) along the first unit axis: (2, 0)
Rejected: Coordinate lengths must agree
Tolerances compare numerical values; the length check prevents silent zip truncation.

实验 B 单位与邻居排序

预测：厘米转米前后谁最近。运行：读欧与曼哈顿序。解释：改几何与缩放曼哈顿稳定平局顺序。修改：逆转换调权，查原距恢复。稳定排序让平局复现，不让相同距离数学不同。

下载 lab2_feature_units.py

"""Neighbour rankings under an explicitly changed coordinate scale."""
import numpy as np

labels = np.array(["P", "Q", "R"])
# Feature 1 measured in hours; feature 2 measured in centimetres.
query = np.array([0.0, 0.0])
candidates = np.array([[1.0, 100.0], [3.0, 0.0], [0.0, 200.0]])

for name, scale in [("hours + centimetres, unweighted", np.array([1.0, 1.0])),
                    ("hours + metres, unweighted", np.array([1.0, 0.01]))]:
    differences = (candidates - query) * scale
    distances = np.linalg.norm(differences, axis=1)
    order = np.argsort(distances, kind="stable")
    print(name)
    print("Euclidean distances:", [round(float(d), 6) for d in distances])
    print("Rank order:", labels[order].tolist())
    l1 = np.abs(differences).sum(axis=1)
    print("Manhattan distances:", l1.tolist(), "; stable tie order:", labels[np.argsort(l1, kind="stable")].tolist())
assert labels[np.argmin(np.linalg.norm(candidates - query, axis=1))] == "Q"
assert labels[np.argmin(np.linalg.norm((candidates - query) * [1, 0.01], axis=1))] == "P"
print("Changing units while leaving numeric weights fixed changes the metric and can change neighbours.")
print("To preserve a chosen metric after conversion, transform its weights consistently.")

hours + centimetres, unweighted
Euclidean distances: [100.005, 3.0, 200.0]
Rank order: ['Q', 'P', 'R']
Manhattan distances: [101.0, 3.0, 200.0] ; stable tie order: ['Q', 'P', 'R']
hours + metres, unweighted
Euclidean distances: [1.414214, 3.0, 2.0]
Rank order: ['P', 'R', 'Q']
Manhattan distances: [2.0, 3.0, 2.0] ; stable tie order: ['P', 'R', 'Q']
Changing units while leaving numeric weights fixed changes the metric and can change neighbours.
To preserve a chosen metric after conversion, transform its weights consistently.

实验 C 错配与未定义余弦

预测：错误 (3,3) 差网格、修复 (3,1) 差与零结果。运行：比两均方差和拒绝例。解释：未检查零除为 nan，守卫报未定义。修改：非零单位向量验距平方=2−2cosim。代码限小有限坐标，极端浮点幅度需更多处理。

下载 lab3_shape_and_cosine_faults.py

"""Repair a successful wrong broadcast and define the zero-vector policy explicitly."""
import numpy as np

predicted = np.array([1.0, 2.0, 3.0])
observed = np.array([[1.0], [2.0], [4.0]])
wrong = predicted - observed
paired = predicted[:, None] - observed
assert wrong.shape == (3, 3) and paired.shape == (3, 1)
print("Wrong broadcast shape / mean squared difference:", wrong.shape, round(float(np.mean(wrong**2)), 6))
print("Paired shape / mean squared difference:", paired.shape, round(float(np.mean(paired**2)), 6))
assert np.isclose(np.mean(paired**2), 1 / 3, rtol=1e-12, atol=1e-12)

def cosine(u, v):
    u, v = np.asarray(u, dtype=float), np.asarray(v, dtype=float)
    if u.ndim != 1 or v.ndim != 1 or u.shape != v.shape:
        raise ValueError("Require matching flat vector shapes")
    length_u, length_v = np.linalg.norm(u), np.linalg.norm(v)
    if length_u == 0 or length_v == 0:
        raise ValueError("Cosine is undefined for a zero vector")
    return float((u @ v) / (length_u * length_v))

zero, other = np.array([0.0, 0.0]), np.array([1.0, 2.0])
with np.errstate(invalid="ignore", divide="ignore"):
    bad = (zero @ other) / (np.linalg.norm(zero) * np.linalg.norm(other))
print("Unchecked zero-vector cosine:", float(bad))
assert np.isnan(bad)
for u, v in [([3, 4], [4, -3]), ([1, 0], [-1, 0]), ([0, 0], [1, 2]), ([1, 2], [1])]:
    try:
        print("Cosine:", u, v, "=", cosine(u, v))
    except ValueError as error:
        print("Rejected:", u, v, str(error))
print("Scope: small finite coordinates. Extreme floating magnitudes need further numerical handling.")

Wrong broadcast shape / mean squared difference: (3, 3) 2.333333
Paired shape / mean squared difference: (3, 1) 0.333333
Unchecked zero-vector cosine: nan
Cosine: [3, 4] [4, -3] = 0.0
Cosine: [1, 0] [-1, 0] = -1.0
Rejected: [0, 0] [1, 2] Cosine is undefined for a zero vector
Rejected: [1, 2] [1] Require matching flat vector shapes
Scope: small finite coordinates. Extreme floating magnitudes need further numerical handling.

1–12 必做，13–14 扩展。数据解释时标特征含义与数组形状。

1–9 自动，10 书面自评。

用作者 Mathematics for Machine Learning 伴随站的解析几何选段比较点积、长度、投影。查 NumPy 数组指南与广播规则。本课证明例子原创，数值检查不替代一般论证。

区分坐标几何与 ndim 编程术语，同词可指不同数量。

不看笔记算组合，证柯西–施瓦茨、欧三角，解释零例外。给改变度量的单位变换和无异常错误形状。

结业任务：u=(−3,4),v=(3,4)，点积七、长均五、余弦 7/25，单位方向 (−0.6,0.8),(0.6,0.8)。两行表 (2,2)，行范数 (2,)；三行两特征表每行仍两坐标，非三坐标。

前进标准：应用前声明坐标与形状。下一线代课把矩阵当映射、解线性系统，见课程总览。