2026-08-03-Note

。讲义全程 MATLAB，我翻译成 Python 记了。

初等数据处理方法

Ref: 初等数据处理方法.pdf

源头问题：先想清楚数据从哪来

• 三个基本问题：采集什么数据 (what to collect)、怎样采集 (how to collect)、怎样分析 (how to analyze)。
• 建模前先评估数据精确性：收集方式、测量设备精度、可疑点。

国赛例子速记（按「数据从哪来」分类）：

• 数据给了，但给的是采集人不懂该采什么的原始记录（2004 国赛「奥运场馆周围临时商店的建设问题」）：题目给了很多数据——规划局在前三次亚运会期间采集的；采集人大约是志愿者之类，完全不懂该采集什么数据才对解决问题有用，于是把所有数据都记了下来。→ 教训：先想清楚什么数据能说明问题，再决定采什么。
• 数据根本不给，要自己判断找什么（2010 国赛「试评估上海世博会的影响力」）：首先必须确定从哪个方面评估、什么数据最能体现问题本质，然后自己去查找数据。→ 教训：评估维度决定数据需求。
• 反过来问你需要什么数据（2011 国赛 A 题「重金属的污染问题」）：最后一问是「需要什么数据，我们可以确定城市土质变化的趋势」。→ 判断还缺什么数据本身也是建模的一环。
• 数据、指标、模型全部自己搭（2015 国赛 B 题「互联网+时代的出租车资源配置」）：多家公司依托移动互联网建立打车软件平台，实现乘客与司机信息互通，并推出多种补贴方案。要求搜集相关数据，建立数学模型研究：
  1. 建立合理指标，分析不同时空出租车资源的「供求匹配」程度；
  2. 分析各公司补贴方案是否对「缓解打车难」有帮助；
  3. 若创建新的打车平台，设计怎样的补贴方案并论证其合理性。

数据质量先于建模

无论试验设计得多精心，拟合模型前都要评估数据精确性：数据是怎么收集的？测量设备精度如何？有没有可疑点？——这是讲义 p.7 的提醒，也是竞赛论文常被忽略的一步。

观察法与初等数学方法

思路一：数据呈比例关系 → 直接读斜率。

例（开普勒第三定律）：第谷 13 年火星观测数据 → 开普勒三定律。第三定律 $T=c{R}^{3/2}$，其中 $T$ 为公转周期（天），$R$ 为到太阳的平均距离。对 $R^{3/2}$ 作图得到过原点的直线，斜率约 $0.410$：

$$T=0.410R^{3/2}$$

核心手法：非线性关系 → 取幂/对数画成线性 → 用斜率读出比例常数。

物理/经济学里的函数模型：

定律/模型	公式
波义耳定律 (Boyle’s law)	$P=RT/V$
胡克定律 (Hooke’s law)	$F=-Kx$
万有引力 (Newton)	$F=k\frac{m_1{m}_2}{r^2}$
欧姆定律 (Ohm’s law)	$U=IR$
经济函数	生产 / 需求 / 供给 / 总成本 / 总收益 / 总利润 / 效用 / 消费 / 储蓄

思路二：初等数学建模。

例（方椅子问题）：地面连续、四腿着地点 $A,B,C,D$。设 $g(\theta )$ 为 $A,C$ 两腿离地距离和，$f(\theta )$ 为 $B,D$ 两腿离地距离和。三条腿总能同时着地 ⟹ $f(\theta )g(\theta )=0$。设 $g(0)=0,f(0)>0$，旋转 $\pi /2$ 后角色互换，故 $h(\theta )=g(\theta )-f(\theta )$ 在 $0$ 与 $\pi /2$ 处异号；$h$ 连续 ⟹ 零点定理 ⟹ 存在 ${\theta }_0$ 使 $f({\theta }_0)=g({\theta }_0)=0$，四腿同时着地。

套路总结

把实际问题抽象成连续函数 + 介值/零点定理，是观察法建模的代表作。

拟合 (Fitting)

定义：从观测数据 $(x_i,y_i)$ 找近似函数 $y=f(x)$，不要求过所有点，只要求整体偏差最小、反映数据趋势。

三种判别准则：

1. 绝对偏差之和最小：$\min {\sum }_i|y_i-f(x_i)|$
2. 最大绝对偏差最小（Chebyshev 近似）：$\min {\max }_i|y_i-f(x_i)|$
3. 最小二乘：$\min {\sum }_i(y_i-f(x_i){)}^2$

Chebyshev → 线性规划：线段 $AB=13,BC=7,AC=19$ 的差异分配问题。令残差 $r_1=x_1-13,r_2=x_2-7,r_3=x_1+x_2-19$，求 $\min r$ 且 $-r\le r_i\le r$。推广：$\min r$ s.t. $r-r_i\ge 0,r+r_i\ge 0$。

最小二乘（重点，推导要会）：线性拟合 $y=ax+b$，极小化 $Q(a,b)={\sum }_i(y_i-a{x}_i-b{)}^2$，令 $\partial Q/\partial a=\partial Q/\partial b=0$ 得正规方程组：

$$\left[\begin{array}{cc}\sum x_i^2& \sum x_i\\ \sum x_i& n\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]=\left[\begin{array}{c}\sum x_i{y}_i\\ \sum y_i\end{array}\right]$$ $$a=\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{n\sum x_i^2-(\sum x_i{)}^2},b=\frac{\sum x_i^2\sum y_i-\sum x_i\sum x_i{y}_i}{n\sum x_i^2-(\sum x_i{)}^2}$$

可线性化拟合：$z=\beta e^{\alpha x}$ ⟹ $\ln z=\alpha x+\ln \beta$ 化为一元线性。例：$x=1,2,3,4$，$z=8.1,22.1,60.1,165$ ⟹ 拟合 $y=\ln z$ 得 $a=1,b=1.1$，即 $z=e^{1.1}{e}^x\approx 3e^x$。

插值 (Interpolation)

定义：近似函数精确通过所有已知点，用于已知点之间补值；要求数据比较准确。

• 插值多项式：$n+1$ 个互异节点 ⟹ 唯一 $\le n$ 次插值多项式（Vandermonde 行列式非零）。
• 插值余项：

$$R_n(x)=f(x)-p_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}\prod _{i=0}^n(x-x_i)$$

• Lagrange 插值：基函数 $l_i(x)={\prod }_{j\ne i}\frac{x-x_j}{x_i-x_j}$，$p_n(x)={\sum }_i{y}_i{l}_i(x)$。
• Newton 插值（差商）：一阶差商 $f[x_i,x_j]=\frac{f(x_i)-f(x_j)}{x_i-x_j}$，高阶递推；

$$N_n(x)=f(x_0)+(x-x_0)f[x_0,x_1]+\cdots +(x-x_0)\cdots (x-x_{n-1})f[x_0,\dots ,x_n]$$

优点：加节点只加一项，计算量小于 Lagrange。

• Hermite 插值：节点处函数值 + 一阶导数同值，至多 $2n+1$ 次。
• Runge 现象：$f(x)=\frac{1}{1+25x^2}$ 等距节点高次插值振荡，次数越高越糟。
• 分段线性插值：相邻节点直线连接，收敛性有保证 $\lim I_n(x)=f(x)$。
• 样条插值 (spline)：每段 $k$ 次多项式 + 连接处直到 $k-1$ 阶导数连续；重点二次/三次样条。

拟合 vs 插值

	拟合 (fitting)	插值 (interpolation)
是否过点	不过所有点	必须过所有点
适用场景	数据有误差、看趋势	数据精确、补未知点

MATLAB ↔ Python 对照

MATLAB	Python
polyfit / polyval	numpy.polyfit / numpy.polyval
interp1 (linear/spline/cubic)	scipy.interpolate.interp1d / CubicSpline / PchipInterpolator
csape + ppval	scipy.interpolate.CubicSpline
cftool	手动绘图 + scipy.optimize.curve_fit
regress	statsmodels OLS / sklearn.linear_model.LinearRegression
ztest / ttest / ttest2	statsmodels.stats.weightstats.ztest / scipy.stats.ttest_1samp / scipy.stats.ttest_ind
anova1	scipy.stats.f_oneway
卡方拟合优度检验	scipy.stats.chisquare

案例

• 机床加工（理工类）：机翼断面下轮廓数据，三次样条插值，把 $x$ 步长加密到 0.1。
• 海底地貌探测（社科类）：散点水深数据 → 二维插值 → 曲面/等高线图，标出水深 < 5m 禁航区。
• 醉汉行进路线（日常类）：已知原型 $y=c_1+c_2\sin x+c_3{\cos }^{2}x+c_4{x}^3$，最小二乘定系数。

回归相关数据处理

Ref: 回归相关数据处理.pdf

统计基础

位置统计量：均值 $\bar{x}$；中位数（$n$ 奇/偶分情况）；百分位数。

分散程度：样本方差（$s^{\ast 2}=\frac{1}{n}\sum (x_i-\bar{x}{)}^2$ 与无偏 $s^2=\frac{1}{n-1}\sum (x_i-\bar{x}{)}^2$）、标准差、变异系数 $CV=\frac{s}{\bar{x}}\times 100\%$、极差、标准误 $s_m=\frac{s}{\sqrt{n}}$。

分布形状：$k$ 阶原点矩/中心矩、偏度 $r_1=\frac{b_3}{b_2^{3/2}}$（对称=0）、峰度 $r_2=\frac{b_4}{b_2^2}-3$。

三大分布：

分布	构造	记号
正态	$N(\mu ,{\sigma }^2)$	$N(0,1)$ 为标准正态
${\chi }^2$	标准正态平方和	${\chi }^2(n)$
$t$	$X/\sqrt{{\chi }^2/n}$	$t(n)$
$F$	两个独立 ${\chi }^2$ 之比	$F(m,n)$

抽样分布（单正态总体）：

$$\bar{x}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right),\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1),\frac{\bar{x}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

区间估计速查：

参数	条件	置信区间
$\mu$	${\sigma }^2$ 已知	$\bar{x}\pm u_{1-\alpha /2}\frac{\sigma }{\sqrt{n}}$
$\mu$	${\sigma }^2$ 未知	$\bar{x}\pm t_{1-\alpha /2}(n-1)\frac{s}{\sqrt{n}}$
${\sigma }^2$	$\mu$ 未知	$\left[\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2(n-1)}\right]$
${\mu }_1-{\mu }_2$	方差均未知且相等	$\bar{x}-\bar{y}\pm t_{1-\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$

参数估计

• 矩估计：用样本矩替代总体矩，$\frac{1}{n}\sum x_i^k=E{X}^k$。
• 极大似然估计 (MLE)：${\max }_{\theta }{\prod }_{i}f(x_i;\theta )$。
• 评价标准：无偏性 $E\hat{\theta }=\theta$；有效性（同无偏，方差小者优）；一致性 ${\hat{\theta }}_n\stackrel{P}{\to }\theta$。

假设检验（分布已知）

单总体均值：

$\sigma$	检验统计量	MATLAB
已知	$u=\frac{\bar{x}-{\mu }_0}{\sigma /\sqrt{n}}$	ztest
未知	$t=\frac{\bar{x}-{\mu }_0}{s/\sqrt{n}}$	ttest

拒绝域按右侧/左侧/双侧取 $u_{1-\alpha }$、$u_{\alpha }$、$u_{1-\alpha /2}$；p 值越小原假设越值得怀疑。例子：

• 包装机（$\sigma =0.015$ 已知）：ztest(x, 0.5, 0.015) → $h=1,p=0.0248$，拒绝，机器不正常。
• 元件寿命（$\sigma$ 未知，右尾）：ttest(x, 225, 0.05, 1) → $h=0,p=0.2570$，不拒绝。
• 双总体均值：ttest2。两种种子 $t=-1.1937$，$|t|<t_{0.975}(18)=2.1009$，$p=0.2467$，无显著差异。

卡方检验（分布未知）：

1. 有限类、无未知参数：${\chi }^2=\sum \frac{(n_i-n{p}_i{)}^2}{n{p}_i}\sim {\chi }^2(r-1)$
2. 含 $k$ 个未知参数（用 MLE 替代）：$\sim {\chi }^2(r-k-1)$
3. 连续分布：分组 → 频数 → 同上，要求各 $n_i\ge 5$

例：200 件混凝土抗压强度是否正态。组中值估 $\hat{\mu }=221,{\hat{\sigma }}^2=152$，${\chi }^2=1.332<{\chi }_{0.95}^2(3)=7.815$，接受正态假设。

一元线性回归

模型 $y={\beta }_0+{\beta }_{1}x+\epsilon$；假设 $E\epsilon =0,Var\epsilon ={\sigma }^2$、独立同方差、正态。

最小二乘估计 (OLSE)：

$${\hat{\beta }}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2},{\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x}$$

正态假设下 MLE 与最小二乘等价。

显著性检验（$H_0:{\beta }_1=0$），平方和分解 $SST=SSR+SSE$：

• F 检验：$F=\frac{SSR/1}{SSE/(n-2)}\sim F(1,n-2)$
• t 检验：$t=\frac{{\hat{\beta }}_1\sqrt{L_{xx}}}{\hat{\sigma }}\sim t(n-2)$
• 相关系数检验：$r=\frac{L_{xy}}{\sqrt{L_{xx}{L}_{yy}}}$，查临界值表

一元时 F、t、相关系数三者等价；多元时只有 F 能整体推广。

例子：

• 合金强度：$\hat{y}=28.49+130.83x$，$r=0.9481,F=182.55,p\approx 0$
• 积雪灌溉：$\hat{y}=1930.29+356.35X$，$t\approx 8.6>2.31$ 显著；$X=7$ 预测 $4422.74$，95% 区间 $\approx [4100,4700]$

多元线性回归

模型 $y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p+\epsilon$；假设：满秩 $\mathrm{rank}(X)=p+1<n$、高斯-马尔可夫条件（零均值/同方差/无自相关）、正态。

矩阵形式（必背）：

$$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }Y,{\hat{\sigma }}^2=\frac{e^{\prime }e}{n-p-1},D(\hat{\beta })={\sigma }^2(X^{\prime }X{)}^{-1}$$

检验：整体 F：$F=\frac{SSR/p}{SSE/(n-p-1)}\sim F(p,n-p-1)$；单个系数 t：$t_j=\frac{{\hat{\beta }}_j}{\sqrt{c_{jj}}\hat{\sigma }}\sim t(n-p-1)$。多元时 F 管整体、t 管单个，不再等价。

拟合优度：$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$，调整 ${\bar{R}}^2=1-\frac{SSE/(n-p-1)}{SST/(n-1)}$。$R^2$ 直观但不能替代显著性检验。

例子：

• 血压：$\hat{y}=-62.96+2.14X_1+0.40X_2$（$R^2=0.9461,F=87.84,p\approx 0$）
• 土壤磷：$\hat{y}=54.21+0.92X_1+0.35X_2+0.11X_3$

方差分析 (ANOVA)

单因素：$x_{ij}=\mu +{\alpha }_i+{\epsilon }_{ij}$（${\alpha }_i$ 为水平 $A_i$ 的效应，$\sum n_i{\alpha }_i=0$），检验 $H_0:{\alpha }_1=\cdots ={\alpha }_r=0$：

$$S_T=S_E+S_A,F=\frac{S_A/(r-1)}{S_E/(n-r)}\sim F(r-1,n-r)$$

例：五名工人产量 anova1 → $F=2.26,p=0.1109>0.05$，无显著差异。

双因素无重复：$x_{ij}=\mu +{\alpha }_i+{\beta }_j+{\epsilon }_{ij}$，$S_T=S_E+S_A+S_B$（交互并入误差），A、B 各一个 F 检验。

双因素等重复：$x_{ijk}=\mu +{\alpha }_i+{\beta }_j+{\delta }_{ij}+{\epsilon }_{ijk}$（含交互项），$S_T=S_E+S_A+S_B+S_{A\times B}$，三个 F 检验（A、B、交互）。

方法选择速查

想做什么	用哪个方法
数据有误差，找趋势	拟合（最小二乘）
数据精确，补点/加密	插值（样条/分段线性）
判断数据是否服从某分布	卡方检验
连续变量预测 + 显著性论证	线性回归（一元/多元）
分组因素是否显著影响指标	方差分析（单/双因素）

主线

两讲合起来就是数据建模的两条路：确定性问题用拟合/插值还原函数；随机性问题用「估计 → 检验 → 回归/方差分析」做统计推断。