2026-08-04-Note

神经表示模型（Neural Representation Models）

Ref: assets/2026-08-04/神经表示模型.pdf（谭忠，厦门大学，2025-08-03，80 页）

课程大纲：前馈神经网络 → 反向传播算法 → 卷积神经网络 → 模型的优化。

神经网络到底在干嘛（动机 · 输入输出 · 训练）

三个问题：为什么要造神经网络？它吃什么、吐什么？它是怎么学会的？
听了半天都不知道 $z=Wx+b$ 是干嘛的😅。

动机：线性模型不够用

线性回归 $\hat{y}=wx+b$——它假设”输入每加一点，输出固定加一点”。这个假设在真实问题里基本不成立：

• 学习时间 → 是否及格：少学几乎不及格，多学快速提高，再学就封顶——S 形，不是直线；
• 面积 + 卧室数 → 房价：面积的效果取决于地段（同样 50㎡，市中心和郊区差一倍）——这是交互关系，一条平面表达不了；
• 像素 → 有没有哈基米：单个像素值和”哈基米”毫无直线关系，像素 255 什么也不是。

所以要一个能表达非线性的模型。神经网络就是为了这个造的。

一个神经元：一条线 + 一个弯

单个神经元：$z=wx+b$ 是一条线，激活函数把它弯成 S 形。它能分两类，但只有一条边界、一个弯。

XOR 是最简的反例：

$x_1$	$x_2$	$y$
0	0	0
0	1	1
1	0	1
1	1	0

四个点，画一条直线怎么都分不开——这就是 Minsky 说的感知器”异或缺陷”。加一层隐藏层后，网络先把输入变成新特征 $(h_1,h_2)$（比如”两个都大吗？""两个都小吗？”），在新空间里四个点就线性可分，输出层再画一条线搞定。

隐藏层 = 自动把空间掰弯，再画线。

关于直接学原始输入

“直接学”= 只做一次线性 + 一次弯曲，表达能力就一条边界。而真实任务的模式藏得太深：判断哈基米，原始输入是几十万个像素，你得先找边缘 → 再找眼睛耳朵 → 再组合成”这是哈基米”。这一层层的模式，靠一次变换翻不出来。

所以网络的做法是：每一层都把输入重新表示成一组更好用的特征，最后一层只做一件最简单的事——加权求和。层数越多，前面的层越像”自动特征提取器”。这跟读文章判断情绪一样：你不能用一条公式把十万个字映射成”开心/难过”，得先分词 → 词义 → 句义 → 文义，逐级抽象。这就是”神经表示”——网络内部每一层都在生成一种表示，输出只是把表示翻译成答案。

输入与输出

• 训练：给网络看 1000 套房子的数据——面积、卧室（输入）和真实成交价（输出），两边都知道，否则没法训练；
• 推理：来一套没卖过的新房子，只有输入，输出价格是模型给的答案——这就是模型的价值。

输出长什么样，由任务定：

任务	输出	用途
预测房价	一个实数	直接当价格
判断哈基米/大狗	两个概率（和为 1）	取大的当类别
压缩图片（自编码器）	低维向量	当作特征存下来

训练循环：四步，重复几万次

每看一批数据就做一遍：

1. 前向：输入穿过各层，算出预测 $\hat{y}$；
2. 损失：$\hat{y}$ 和真实 $y$ 差多少，比如 $L=(\hat{y}-y{)}^2$；
3. 反向：把误差从输出层往回传，算出每个权重该往哪调、调多少（链式法则，这就是反向传播）；
4. 更新：$w\leftarrow w-\eta \cdot \text{梯度}$，让损失变小一点。

以下是手搓数据。

极简网络：$x=1$，目标 $y=2$；$h=\text{ReLU}(w_{1}x+b_1)$，$\hat{y}=w_{2}h+b_2$。初始 $w_1=0.5,b_1=0,w_2=0.8,b_2=0$，学习率 $\eta =0.1$。

步骤	计算	结果
前向	$z=0.5,h=0.5,\hat{y}=0.4$	预测 0.4
损失	$(0.4-2{)}^2$	2.56
反向	$\frac{dL}{d{w}_2}=-3.2\times 0.5=-1.6$；$\frac{dL}{d{w}_1}=-3.2\times 0.8\times 1=-2.56$	两个梯度
更新	$w_2=0.8-0.1\times (-1.6)=0.96$；$w_1=0.5-0.1\times (-2.56)=0.756$	权重变大

再前向一次：$\hat{y}=0.96\times 0.756\approx 0.73$，损失 $1.62<2.56$ ✓ 变好了。重复几百轮，$\hat{y}\to 2$，权重稳定，训练结束。

注意 $w_1$ 的梯度是一路乘回去的（$-3.2\times 0.8\times 1$）——这就是为什么激活函数的导数很重要：ReLU 正半轴导数为 1，梯度传得动；Sigmoid 饱和区导数趋近 0，深层网络就”梯度消失”。

第一章 前馈神经网络（Feedforward Neural Network）

神经元模型

一个神经元接收 $D$ 维输入 $x=[x_1;\dots ;x_D]\in {\mathbb{R}}^D$，加权求和得到净输入（Net Input）：

$$z=\sum _{d=1}^D{w}_d{x}_d+b=w^{\top }x+b$$

其中 $w\in {\mathbb{R}}^D$ 是权重向量，$b$ 是偏置。净输入经过非线性激活函数（Activation Function）$f(\cdot )$ 得到活性值：

$$a=f(z)$$

激活函数应满足：① 连续可导（允许少数点不可导）的非线性函数；② 形式简单、计算高效；③ 导函数值域适中，过大过小都会影响训练效率与稳定性。

常见激活函数

函数	公式	特点
Logistic	$\sigma (x)=\frac{1}{1+\exp (-x)}$	值域 $(0,1)$，两端饱和
Tanh	$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=2\sigma (2x)-1$	值域 $(-1,1)$，是放大平移的 Logistic
ReLU	$\max (0,x)$	左饱和，$x>0$ 导数为 1，缓解梯度消失；但非零中心化、有 Dying ReLU 问题
Leaky ReLU	$\max (0,x)+\gamma \min (0,x)$	$x\le 0$ 保留小梯度 $\gamma$（如 0.01），避免神经元”死亡”
PReLU	同上，但 ${\gamma }_i$ 可学习	不同神经元可有不同参数；${\gamma }_i=0$ 退化为 ReLU
ELU	$x>0$ 时 $x$；$x\le 0$ 时 $\gamma (e^x-1)$	近似零中心化，$\gamma \ge 0$ 控制饱和曲线
Softplus	$\log (1+e^x)$	ReLU 的平滑版，导数为 Logistic；无稀疏激活性
Swish	$x\sigma (\beta x)$	自门控（Self-Gated），$\beta$ 可学习；$\sigma$ 接近 1 开门、接近 0 关门

Dying ReLU

一次不恰当的参数更新后，某 ReLU 神经元在全部训练数据上都不再被激活，其梯度永远为 0 → 神经元永久死亡。Leaky ReLU / PReLU 是常用对策。

前向传播

记号：$L$ 网络层数；$W^{(l)}\in {\mathbb{R}}^{M_l\times M_{l-1}}$、$b^{(l)}$ 第 $l$ 层权重与偏置；$z^{(l)}$ 净输入；$a^{(l)}$ 活性值。

令 $a^{(0)}=x$，逐层传播：

$$z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)},a^{(l)}=f_l(z^{(l)})$$

每层 = 一个仿射变换（Affine Transformation）+ 一个非线性变换。整个网络是复合函数 $\phi (x;W,b)$：

$$x=a^{(0)}\to z^{(1)}\to a^{(1)}\to \cdots \to a^{(L-1)}\to z^{(L)}\to a^{(L)}=\phi (x;W,b)$$

通用近似定理（Universal Approximation Theorem）

对 ${\mathbb{R}}^D$ 有界闭集上的任意连续函数 $f$，存在足够大的 $M$ 与参数 $v_m,b_m,w_m$，使得

$$F(x)=\sum _{m=1}^M{v}_m\varphi (w_m^{\top }x+b_m),|F(x)-f(x)|<\epsilon$$

即：线性输出层 + 至少一个使用”挤压”型激活（Sigmoid 类，ReLU 也适用）的隐藏层 + 足够多神经元，可任意精度逼近连续函数。

局限

定理只说明”存在”这样的网络，不告诉怎么找到它、是否最优；真实映射未知，靠经验风险最小化 + 正则化学习。能力越强越容易在训练集上过拟合。

第二章 反向传播算法（BackPropagation）

目标：对每个样本计算损失 $L(y,\hat{y})$ 关于第 $l$ 层参数 $W^{(l)},b^{(l)}$ 的梯度。核心是误差项（Error Term）：

$${\delta }^{(l)}\triangleq \frac{\partial L(y,\hat{y})}{\partial z^{(l)}}\in {\mathbb{R}}^{M_l}$$

误差项反映第 $l$ 层神经元对最终损失的敏感程度，解决了贡献度分配问题（Credit Assignment Problem, CAP）。

误差项的反向递推

$${\delta }^{(l)}=f_l^{\prime }\left(z^{(l)}\right)\odot {\left(W^{(l+1)}\right)}^{\top }{\delta }^{(l+1)}$$

其中 $\odot$ 为逐元素乘。含义：第 $l$ 层某神经元的误差 = 所有与其相连的 $l+1$ 层神经元误差的加权和，再乘该神经元激活函数的梯度。

参数梯度

$$\frac{\partial L}{\partial W^{(l)}}={\delta }^{(l)}{\left(a^{(l-1)}\right)}^{\top },\frac{\partial L}{\partial b^{(l)}}={\delta }^{(l)}$$

即权重梯度是误差项 ${\delta }^{(l)}$ 与上一层活性值 $a^{(l-1)}$ 的外积；偏置梯度就是误差项本身。

BP 三步训练流程

1. 前馈：逐层计算净输入 $z^{(l)}$ 与活性值 $a^{(l)}$ 直到最后一层；
2. 反向：从输出层往回计算每层误差项 ${\delta }^{(l)}$；
3. 更新：用上面两个公式求参数梯度，更新 $W,b$。

第三章 卷积神经网络（CNN）

为什么需要卷积

图像是 3 维形状（高 × 宽 × 通道），空间上邻近像素相似、RGB 通道间关联密切。全连接层忽视形状，把所有输入当同一维度处理；卷积层保持形状，能利用空间信息。

CNN = 用层搭积木：新增卷积层（Convolution）与池化层（Pooling）。典型连接 Convolution - ReLU - (Pooling)（池化可省略），靠近输出端仍用 Affine - ReLU，最后一层用 Affine - Softmax。

卷积运算

一维卷积（信号延迟累积）：滤波器（Filter）/卷积核（Kernel）$w_1,w_2,\dots$，长度为 $K$：

$$y_t=\sum _{k=1}^K{w}_k{x}_{t-k+1}=w\ast x$$

例：衰减率 $w_1=1,w_2=1/2,w_3=1/4$ 时，$y_t=x_t+\frac{1}{2}{x}_{t-1}+\frac{1}{4}{x}_{t-2}$。

二维卷积（图像）：图像 $X\in {\mathbb{R}}^{M\times N}$，滤波器 $W\in {\mathbb{R}}^{U\times V}$（$U\ll M,V\ll N$）：

$$y_{ij}=\sum _{u=1}^U\sum _{v=1}^V{w}_{uv}{x}_{i-u+1,j-v+1}$$

填充（padding）：卷积前在输入周围补固定值（如 0），控制输出尺寸、保留边缘信息。

步幅（stride）：滤波器窗口每次移动的间隔；步幅 2 时窗口间隔 2 个元素。

3 维卷积：输入有多个通道时，各通道分别卷积再相加，输出特征图（Feature Map）沿通道方向增多。

特征映射与常用滤波器

图像卷积后的结果叫特征映射（Feature Map）。常用滤波器：高斯滤波器（平滑去噪）、边缘提取滤波器等。

池化层（Pooling）

• 最大池化：取窗口内最大值（图像识别领域主流）；平均池化：取窗口均值；
• 一般窗口大小与步幅相同（如 2×2 配步幅 2）；
• 三个特征：没有可学习参数；通道数不变（按通道独立计算）；对微小位移鲁棒（吸收输入的小偏差）。

第四章 模型的优化

目标：最小化经验风险

$$J(\theta )=\frac{1}{n}\sum _{i=1}^{n}L(f(x_i;\theta ),y_i)$$

梯度下降与 SGD

一阶泰勒展开 ⟹ 沿负梯度方向下降最快：

$${\theta }^{(t+1)}={\theta }^{(t)}-{\lambda }_t\nabla f\left({\theta }^{(t)}\right)$$

• 目标函数为凸函数时，梯度下降收敛到全局最优；
• 全批量梯度（$n>10^6$）代价太高 → mini-batch SGD：每轮随机采大小为 $m$ 的子集，用 ${\nabla }_{\theta }\hat{J}(\theta )$ 近似 ${\nabla }_{\theta }J(\theta )$（无偏估计）：

$${\theta }^{(t+1)}={\theta }^{(t)}-{\eta }_t{\nabla }_{\theta }\hat{J}\left({\theta }^{(t)}\right)$$

• 收敛充分条件：${\sum }_t{\eta }_t=\infty$，${\sum }_t{\eta }_t^2<\infty$ ⟹ 学习率要随迭代递减；目标函数长期不变时，可降到原来的 $1/10\sim 1/2$。

动量法（Momentum）

$$v^{(t+1)}=\alpha v^{(t)}+\eta {\nabla }_{\theta }\hat{J}\left({\theta }^{(t)}\right),{\theta }^{(t+1)}={\theta }^{(t)}-v^{(t)}$$

$\alpha \in [0,1)$ 控制历史梯度衰减（实践常用 0.5 / 0.9 / 0.99）。克服了 Hessian 病态（poor conditioning）和随机梯度方差带来的不稳定。

Nesterov 动量：梯度在”加了当前速度之后”的位置计算（即 ${\theta }^{(t)}-\alpha v^{(t)}$ 处），相当于提前探测、校正更新方向。

自适应学习率

算法	核心思想	参数更新	注意点
AdaGrad	每个参数用历史梯度平方和调学习率	${\theta }_i\leftarrow {\theta }_i-\frac{\eta }{\sqrt{r_i^{(t)}+\delta }}{g}_i^{(t)}$	不用停留鞍点；但学习率过早过快衰减
RMSprop	历史均值 + 当前梯度平方	同 AdaGrad 形式，$r$ 用指数加权	推荐 $\rho =0.9,\eta =0.001$；缓解 AdaGrad 问题
AdaDelta	再用参数更新值的平方调学习率	${\theta }_i\leftarrow {\theta }_i-\frac{\sqrt{s_i^{(t-1)}+\delta }}{\sqrt{r_i^{(t-1)}+\delta }}{g}_i^{(t)}$	无需人工学习率；多两个超参 $\rho ,\gamma$
Adam	一阶矩（动量）+ 二阶矩（自适应率）+ 偏差修正	${\theta }_i\leftarrow {\theta }_i-\eta \frac{{\hat{s}}_i^{(t)}}{\sqrt{{\hat{r}}_i^{(t)}+\delta }}$	推荐 ${\rho }_1=0.9,{\rho }_2=0.999$；对超参不敏感、实践效果好

其中 $r_i^{(t)}={\sum }_{j=0}^t{g}_i^{(j)}\cdot g_i^{(j)}$（AdaGrad）；RMSprop/Adam 用指数加权平均；Adam 的偏差修正 ${\hat{s}}^{(t)}=s^{(t)}/(1-{\rho }_1^t)$、${\hat{r}}^{(t)}=r^{(t)}/(1-{\rho }_2^t)$。