2026-09-28-Note

课程导航

课程首页：Probability Theory
前置内容：Transformations and Expected Values
课程资料：Prob Stat Chapter 2 Part 1, pp.1–25；Casella & Berger, Statistical Inference, Section 2.1

Transformation Techniques and Probability Integral Transform / 变量变换方法与概率积分变换

本节继续研究已知 $X$ 的分布时，如何求

$$Y=g(X)$$

的分布。核心不在于记住若干孤立公式，而在于掌握一条统一思路：先把关于 $Y$ 的事件拉回到 $X$ 的取值空间，再用 $X$ 的已知分布计算概率。

Scope / 本讲范围

Chapter 2 的完整路线还包括 Expected Values、Moments 与 Moment Generating Functions；本份讲义与笔记集中完成 Section 2.1，即随机变量函数的分布。后续内容将在下一部分继续。

Learning goals / 学习目标

完成本节后，应能：

1. 区分 inverse image 与 inverse function；
2. 对离散变换合并所有映到同一 $y$ 的概率质量；
3. 用 CDF method 处理非一一变换与复杂 support；
4. 对单调或分段单调变换正确使用 Jacobian；
5. 解释 probability integral transform，并用 inverse CDF 生成指定分布的随机变量。

1. Induced Distributions and Inverse Images / 诱导分布与原像

1.1 Distribution Induced by a Transformation / 变换诱导的分布

Definition

设随机变量 $X$ 的分布已知，$Y=g(X)$。对 $Y$ 的值域中的任意集合 $A$，

$$\begin{array}{rl}P(Y\in A)& =P(g(X)\in A)\\ & =P(X\in g^{-1}(A)),\end{array}$$

其中

$$g^{-1}(A)=\{x:g(x)\in A\}$$

称为集合 $A$ 在 $g$ 下的 inverse image。

因此，求 $Y$ 的分布可以理解为：

$$\text{关于 }Y\text{ 的事件}⟶\text{关于 }X\text{ 的事件}⟶\text{利用 }X\text{ 的分布求概率}.$$

1.2 Inverse Image versus Inverse Function / 原像与反函数

inverse image 总是可以定义，但 ordinary inverse function 只有在 $g$ 为 one-to-one 时才存在。

例如，若 $g(x)=x^2$，则对 $y>0$，

$$g^{-1}(\{y\})=\{-\sqrt{y},\sqrt{y}\}.$$

这里的 $g^{-1}(\{y\})$ 是一个包含两个点的集合，而不是一个单值反函数。两个原像分支都会对 $Y$ 在 $y$ 附近的概率作出贡献。

Common mistake / 常见错误

直接写 $x=g^{-1}(y)$，却没有先检查 $g$ 在 $X$ 的 support 上是否一一对应，会漏掉 inverse branches。例如 $Y=X^2$ 不能只保留 $x=\sqrt{y}$。

2. Discrete Transformations / 离散变换

2.1 General Formula / 一般公式

Theorem

若 $X$ 为离散型随机变量，$Y=g(X)$，则

$$p_Y(y)=P(Y=y)=\sum _{x:g(x)=y}{p}_X(x).$$

计算时可以先列出映射表，再把落到同一 $y$ 的概率相加。这里不需要 Jacobian，因为离散分布比较的是点上的 probability mass，而不是单位长度内的 density。

2.2 Many-to-One Example / 多对一变换示例

Example

设

$$P(X=-1)=\frac{1}{4},P(X=0)=\frac{1}{2},P(X=1)=\frac{1}{4},$$

并令 $Y=X^2$。映射关系为：

$x$	$g(x)=x^2$	$P(X=x)$
$-1$	$1$	$1/4$
$0$	$0$	$1/2$
$1$	$1$	$1/4$

因此

$$P(Y=0)=\frac{1}{2},P(Y=1)=\frac{1}{4}+\frac{1}{4}=\frac{1}{2}.$$

求和检查给出 $P(Y=0)+P(Y=1)=1$。

2.3 Binomial Transformation / 二项分布变换

Example

设 $X\sim \mathrm{Binomial}(n,p)$，并定义

$$Y=n-X.$$

若 $X$ 表示 $n$ 次 Bernoulli 试验中的成功次数，则 $Y$ 表示失败次数。对 $y=0,1,\dots ,n$，方程 $n-x=y$ 给出 $x=n-y$，所以

$$\begin{array}{rl}{p}_Y(y)& =p_X(n-y)\\ & =\left(\genfrac{}{}{0ex}{}{n}{n-y}\right)p^{n-y}(1-p{)}^y\\ & =\left(\genfrac{}{}{0ex}{}{n}{y}\right)(1-p{)}^y{p}^{n-y}.\end{array}$$

因此

$$Y\sim \mathrm{Binomial}(n,1-p).$$

这个变换保留了 Binomial family，只是把“成功”的定义互换，使参数由 $p$ 变为 $1-p$。

3. CDF Method / 分布函数法

3.1 General Procedure / 一般步骤

Method

对任意变换 $Y=g(X)$，先写

$$F_Y(y)=P(Y\le y)=P(g(X)\le y),$$

再把不等式 $g(X)\le y$ 化成关于 $X$ 的事件。若 $F_Y$ 在相应区间可微，则

$$f_Y(y)=F_Y^{\prime }(y).$$

CDF method 尤其适合以下情况：

• $g$ 不是 one-to-one；
• 同一个 $y$ 有多个 inverse branches；
• 变换后的 support 变化较大；
• 与其直接求反函数，不如先处理不等式更简单。

3.2 Support-First Principle / 先确定支撑集

设 $X$ 的 support 为

$$\mathcal{X}=\{x:f_X(x)>0\},$$

则 $Y=g(X)$ 的 support 是像集

$$\mathcal{Y}=g(\mathcal{X})=\{g(x):x\in \mathcal{X}\}.$$

在求导或套用变换公式之前，依次完成：

1. 写出 $X$ 的 support $\mathcal{X}$；
2. 把 $\mathcal{X}$ 通过 $g$ 映射为 $\mathcal{Y}$；
3. 检查 $g$ 在 $\mathcal{X}$ 上是否单调；
4. 若不单调，把 $\mathcal{X}$ 分割成若干单调区间；
5. 最终答案必须连同 $\mathcal{Y}$ 一起写出。

许多变量变换题的错误并非微积分错误，而是 support error。

Boundary convention / 端点约定

对连续型随机变量，给 support 增减有限个端点不会改变任何概率。本文在描述取值范围时常写闭区间，在给 PDF 的有效区间时写开区间；做题时只要端点处没有点质量，两种写法不影响分布本身。

3.3 Square Transformation / 平方变换

设 $Y=X^2$。对 $y>0$，

$$\begin{array}{rl}{F}_Y(y)& =P(X^2\le y)\\ & =P(-\sqrt{y}\le X\le \sqrt{y})\\ & =F_X(\sqrt{y})-F_X(-\sqrt{y}).\end{array}$$

若 $X$ 连续且 CDF 可微，则

$$f_Y(y)=\frac{f_X(\sqrt{y})+f_X(-\sqrt{y})}{2\sqrt{y}},y>0.$$

分子中两项分别来自 $x=\sqrt{y}$ 与 $x=-\sqrt{y}$ 两个 inverse branches。

3.4 Uniform-Square Example / 均匀分布平方变换

Example

设

$$f_X(x)=\{\begin{array}{ll}1,& -\frac{1}{2}<x<\frac{1}{2},\\ 0,& \text{otherwise},\end{array}$$

并令 $Y=X^2$。因为 $|X|<1/2$，所以 $Y$ 的 support 为 $[0,1/4]$。

当 $0<y<1/4$ 时，

$$\begin{array}{rl}{F}_Y(y)& =P(-\sqrt{y}\le X\le \sqrt{y})\\ & ={\int }_{-\sqrt{y}}^{\sqrt{y}}1dx\\ & =2\sqrt{y}.\end{array}$$

完整的 CDF 为

$$F_Y(y)=\{\begin{array}{ll}0,& y\le 0,\\ 2\sqrt{y},& 0<y<\frac{1}{4},\\ 1,& y\ge \frac{1}{4}.\end{array}$$

因此

$$f_Y(y)=\{\begin{array}{ll}\frac{1}{\sqrt{y}},& 0<y<\frac{1}{4},\\ 0,& \text{otherwise}.\end{array}$$

虽然 $f_Y(y)$ 在 $y\downarrow 0$ 时趋于无穷，但它仍然是合法密度，因为

$${\int }_0^{1/4}\frac{1}{\sqrt{y}}dy=2\sqrt{y}{|}_0^{1/4}=1.$$

密度值大于 $1$ 或在某点附近无界并不违反概率公理；真正需要检查的是密度非负且总积分为 $1$。

3.5 Sine-Square Example / 正弦平方变换

Example

设

$$X\sim U(0,2\pi ),Y={\sin }^{2}X.$$

首先由 $0\le {\sin }^{2}X\le 1$ 得到 $Y$ 的 support 为 $[0,1]$。对 $0<y<1$，令

$$a=\arcsin (\sqrt{y}),0<a<\frac{\pi }{2}.$$

事件 ${\sin }^{2}X\le y$ 等价于 $|\sin X|\le \sqrt{y}$。在一个完整周期 $(0,2\pi )$ 内，满足该条件的区间总长度为 $4a$。由于 $X$ 在 $(0,2\pi )$ 上均匀分布，

$$F_Y(y)=\frac{4a}{2\pi }=\frac{2}{\pi }\arcsin (\sqrt{y}),0<y<1.$$

求导得到

$$f_Y(y)=\frac{1}{\pi \sqrt{y(1-y)}},0<y<1.$$

完整写法为

$$F_Y(y)=\{\begin{array}{ll}0,& y\le 0,\\ \frac{2}{\pi }\arcsin (\sqrt{y}),& 0<y<1,\\ 1,& y\ge 1,\end{array}$$

以及

$$f_Y(y)=\{\begin{array}{ll}\frac{1}{\pi \sqrt{y(1-y)}},& 0<y<1,\\ 0,& \text{otherwise}.\end{array}$$

该分布也称为 arcsine distribution，并且

$$Y\sim \mathrm{Beta}\left(\frac{1}{2},\frac{1}{2}\right).$$

此例的关键不是直接解出某个单值反函数，而是先画出或想象 ${\sin }^{2}x$ 在一个周期内的图像，找齐所有满足不等式的区间。

4. Monotone Transformations / 单调变换

4.1 CDF Theorem / CDF 变换定理

Theorem

设 $Y=g(X)$，且 $g$ 在 $X$ 的 support $\mathcal{X}$ 上单调。

若 $g$ 严格递增，则

$$F_Y(y)=F_X(g^{-1}(y)),y\in \mathcal{Y}.$$

这是因为

$$g(X)\le y⟺X\le g^{-1}(y).$$

若 $g$ 严格递减，且 $X$ 连续，则

$$F_Y(y)=1-F_X(g^{-1}(y)),y\in \mathcal{Y}.$$

此时不等号方向反转：

$$g(X)\le y⟺X\ge g^{-1}(y).$$

Endpoint nuance / 端点细节

对一般随机变量，$P(X\ge a)=1-F_X(a^{-})$。讲义中的递减公式假设 $X$ 连续，因此 $F_X(a^{-})=F_X(a)$。

4.2 Density Transformation Theorem / 密度变换定理

Theorem

设 $X$ 在 $\mathcal{X}$ 上具有连续密度 $f_X$，$g$ 在 $\mathcal{X}$ 上单调，且反函数 $g^{-1}$ 在 $\mathcal{Y}$ 上可微，则

$$f_Y(y)=\{\begin{array}{ll}{f}_X(g^{-1}(y))\left|\frac{d}{dy}{g}^{-1}(y)\right|,& y\in \mathcal{Y},\\ 0,& \text{otherwise}.\end{array}$$

绝对值项是 one-dimensional Jacobian。它修正变换对横轴长度的拉伸或压缩，并保证密度非负。

4.3 Uniform-Exponential Relationship / 均匀分布与指数分布

Example

设 $X\sim U(0,1)$，并定义

$$Y=-\log X.$$

$g(x)=-\log x$ 在 $(0,1)$ 上严格递减，像集为 $(0,\infty )$，反函数为

$$g^{-1}(y)=e^{-y}.$$

因此对 $y>0$，

$$\begin{array}{rl}{F}_Y(y)& =P(-\log X\le y)\\ & =P(X\ge e^{-y})\\ & =1-e^{-y},\end{array}$$

从而

$$f_Y(y)=e^{-y},y>0.$$

所以 $Y$ 服从均值为 $1$ 的 exponential distribution。

4.4 Inverted Gamma Transformation / Gamma 分布倒数变换

Example

设 $X$ 具有 shape-scale 参数化的 Gamma density：

$$f_X(x)=\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{x}^{\alpha -1}{e}^{-x/\beta },x>0,$$

并令

$$Y=\frac{1}{X}.$$

这里 $\mathcal{X}=(0,\infty )$，$\mathcal{Y}=(0,\infty )$，且

$$g^{-1}(y)=\frac{1}{y},\left|\frac{d}{dy}{g}^{-1}(y)\right|=\frac{1}{y^2}.$$

代入单调密度变换公式：

$$\begin{array}{rl}{f}_Y(y)& =f_X\left(\frac{1}{y}\right)\frac{1}{y^2}\\ & =\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{y}^{-(\alpha +1)}\exp \left(-\frac{1}{\beta y}\right),y>0.\end{array}$$

该结果是 inverse-gamma distribution。最容易漏掉的部分是 Jacobian $1/y^2$。

5. Piecewise Monotone Transformations / 分段单调变换

5.1 General Theorem / 一般定理

Theorem

若 $X$ 的 support（忽略 probability-zero set 后）可分割为

$$A_1,\dots ,A_k,$$

且 $g$ 在每个 $A_i$ 上单调并具有可微反函数 $g_i^{-1}$，那么对 $y\in \mathcal{Y}$，

$$f_Y(y)=\sum _{i=1}^k{f}_X(g_i^{-1}(y))\left|\frac{d}{dy}{g}_i^{-1}(y)\right|,$$

其中只对能够映到该 $y$ 的 branches 求和。

它与离散变换公式具有相同结构：

$$\text{在 }y\text{ 处的总贡献}=\sum \text{所有原像分支的贡献}.$$

5.2 Normal-Chi-Squared Relationship / 正态分布与卡方分布

Example

设

$$X\sim N(0,1),Y=X^2.$$

对 $y>0$，两个 inverse branches 为

$$x_1(y)=-\sqrt{y},x_2(y)=\sqrt{y},$$

并且

$$\left|\frac{d}{dy}{x}_1(y)\right|=\left|\frac{d}{dy}{x}_2(y)\right|=\frac{1}{2\sqrt{y}}.$$

记标准正态密度为

$$\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}.$$

由 $\varphi (-x)=\varphi (x)$，

$$\begin{array}{rl}{f}_Y(y)& =\varphi (-\sqrt{y})\frac{1}{2\sqrt{y}}+\varphi (\sqrt{y})\frac{1}{2\sqrt{y}}\\ & =\frac{1}{\sqrt{2\pi y}}{e}^{-y/2},y>0.\end{array}$$

这正是自由度为 $1$ 的 chi-squared density，因此

$$X^2\sim {\chi }_1^2.$$

6. Probability Integral Transform / 概率积分变换

6.1 Generalized Inverse of a CDF / CDF 的广义逆

Definition

对单调不减的 CDF $F$，定义 generalized inverse 为

$$F^{-1}(u)=\inf \{x:F(x)\ge u\},0<u<1.$$

即使 $F$ 有平台区间或跳跃，这一定义仍然是单值的。它既是 quantile 的严格定义，也是 inverse-CDF simulation 的数学基础。

6.2 Probability Integral Transform Theorem / 概率积分变换定理

Theorem

若 $X$ 的 CDF $F_X$ 连续，则

$$U=F_X(X)\sim U(0,1).$$

等价地，对 $0<u<1$，

$$P(U\le u)=u.$$

Proof idea

在 $F_X$ 连续并采用 generalized inverse 的条件下，

$$\begin{array}{rl}P(F_X(X)\le u)& =P(X\le F_X^{-1}(u))\\ & =F_X(F_X^{-1}(u))\\ & =u.\end{array}$$

Continuity matters / 连续性条件

若 $X$ 为离散型随机变量，$F_X(X)$ 通常不是 $U(0,1)$。例如 Bernoulli 随机变量的 $F_X(X)$ 只会取有限个值，不可能具有连续均匀分布。

6.3 Inverse Transform Sampling / 逆变换抽样

概率积分变换可以反向使用。若

$$U\sim U(0,1),$$

并令

$$X=F^{-1}(U),$$

则 $X$ 的 CDF 为 $F$。直观上，$U$ 随机选择一个 cumulative probability level，而 $F^{-1}$ 把这个概率水平映射回对应的 quantile。

算法可写为：

1. 生成 $U\sim U(0,1)$；
2. 求解 $U=F_X(x)$；
3. 令 $X=F_X^{-1}(U)$。

6.4 Generating an Exponential Random Variable / 生成指数随机变量

Example

设目标分布的 CDF 为

$$F(x)=1-e^{-x/\lambda },x\ge 0,$$

其中 $\lambda >0$。令 $u=F(x)$，则

$$u=1-e^{-x/\lambda }$$

给出

$$x=-\lambda \log (1-u).$$

因此若 $U\sim U(0,1)$，则

$$X=-\lambda \log (1-U)$$

服从均值为 $\lambda$ 的 exponential distribution。由于 $1-U\sim U(0,1)$，实践中也常写为

$$X=-\lambda \log U.$$

这解释了为什么很多随机数生成器只需要先产生 uniform random numbers，就能进一步构造其他连续分布。

7. Method Selection and Error Checking / 方法选择与错误检查

7.1 Comparison of Methods / 方法比较

情形	推荐方法	核心操作
$X$ 离散	PMF 求和	合并所有满足 $g(x)=y$ 的点概率
$g$ 单调且反函数简单	Density transformation	代入反函数并乘 Jacobian
$g$ 非单调但可分段单调	Branch summation	对所有 inverse branches 的密度贡献求和
support 或不等式较复杂	CDF method	先求 $P(g(X)\le y)$，再求导
需要从目标分布抽样	Inverse CDF	令 $X=F^{-1}(U)$

7.2 Transformation Checklist / 变量变换检查清单

Checklist

面对 $Y=g(X)$ 时，按以下顺序检查：

1. 写出 $X$ 的 support $\mathcal{X}$；
2. 求像集 $\mathcal{Y}=g(\mathcal{X})$；
3. 判断 $g$ 在 $\mathcal{X}$ 上是否 one-to-one；
4. 若不是，找全 inverse branches 或改用 CDF method；
5. 正确处理不等式方向与 Jacobian 的绝对值；
6. 把 PMF、CDF 或 PDF 连同 support 一起写出；
7. 检查 PMF 是否求和为 $1$，或 PDF 是否积分为 $1$。

7.3 Frequent Errors / 高频错误

错误	后果	修正方式
未先写 $\mathcal{Y}=g(\mathcal{X})$	答案 support 错误	先映射端点、临界点与整个区间
非一一变换只取一个根	少算概率或密度	列出所有满足 $g(x)=y$ 的 roots
递减变换不反转不等号	CDF 写反	从事件 $g(X)\le y$ 重新推导
漏掉 $\left	d g^{-1}/dy\right	$
未写 absolute value	递减变换得到负密度	Jacobian 必须取绝对值
只写区间内部公式	CDF 不完整	补上 support 外的 $0$ 与 $1$
看到 density 大于 $1$ 就判错	误解密度含义	检查积分，而非逐点高度

8. Quiz 1 with Solutions / 小测 1 与解答

8.1 Uniform-Square Transformation / 均匀分布平方变换

Problem

若 $X\sim U(0,1)$，$Y=X^2$，求 $Y$ 的 support 与 PDF。

Solution

由于 $x\mapsto x^2$ 在 $(0,1)$ 上严格递增，$Y$ 的 support 为 $(0,1)$。对 $0<y<1$，

$$F_Y(y)=P(X^2\le y)=P(X\le \sqrt{y})=\sqrt{y}.$$

因此

$$f_Y(y)=\{\begin{array}{ll}\frac{1}{2\sqrt{y}},& 0<y<1,\\ 0,& \text{otherwise}.\end{array}$$

检查：

$${\int }_0^1\frac{1}{2\sqrt{y}}dy=1.$$

8.2 Absolute Value of a Discrete Variable / 离散随机变量的绝对值

Problem

若

$$P(X=-1)=\frac{1}{4},P(X=0)=\frac{1}{2},P(X=1)=\frac{1}{4},$$

且 $Y=|X|$，求 $Y$ 的 PMF。

Solution

$$P(Y=0)=P(X=0)=\frac{1}{2},$$ $$P(Y=1)=P(X=-1)+P(X=1)=\frac{1}{2}.$$

所以

$$p_Y(y)=\{\begin{array}{ll}\frac{1}{2},& y=0,\\ \frac{1}{2},& y=1,\\ 0,& \text{otherwise}.\end{array}$$

8.3 Absolute Value of a Standard Normal Variable / 标准正态变量的绝对值

Problem

若 $X\sim N(0,1)$，$Y=|X|$：

1. 求 $Y$ 的 support；
2. 用标准正态 CDF $\Phi$ 表示 $F_Y(y)$；
3. 求 $f_Y(y)$。

Solution

$Y$ 的 support 为 $[0,\infty )$。当 $y\ge 0$ 时，

$$\begin{array}{rl}{F}_Y(y)& =P(|X|\le y)\\ & =P(-y\le X\le y)\\ & =\Phi (y)-\Phi (-y)\\ & =2\Phi (y)-1.\end{array}$$

因此完整的 CDF 为

$$F_Y(y)=\{\begin{array}{ll}0,& y<0,\\ 2\Phi (y)-1,& y\ge 0.\end{array}$$

求导得

$$f_Y(y)=\{\begin{array}{ll}2\varphi (y)=\sqrt{\frac{2}{\pi }}{e}^{-y^2/2},& y>0,\\ 0,& \text{otherwise}.\end{array}$$

这称为 half-normal distribution。它与 $X^2\sim {\chi }_1^2$ 都来自标准正态分布，但分别使用 $|X|$ 与 $X^2$ 作为变换。

9. Conceptual Connections / 概念联系

9.1 A Unified View of Discrete and Continuous Cases / 离散与连续情形的统一视角

离散型与连续型变量变换的共同原则都是“收集所有原像贡献”：

$$p_Y(y)=\sum _{x:g(x)=y}{p}_X(x)$$

与

$$f_Y(y)=\sum _i{f}_X(g_i^{-1}(y))\left|\frac{d}{dy}{g}_i^{-1}(y)\right|$$

具有相同逻辑。连续情形额外出现 Jacobian，是因为 density 会随坐标尺度的改变而调整。

9.2 Connection with Earlier Material / 与前序内容的联系

• CDF 提供最通用的事件概率表达；
• 随机变量函数的分布 给出变量变换的基础框架；
• 本节将这一框架扩展到 multiple branches、support-first analysis 与 probability integral transform；
• inverse-CDF simulation 之后会直接用于统计模拟、Monte Carlo 方法和数值实验。

10. Terminology / 术语表

English	中文	说明
transformation	变换	由 $Y=g(X)$ 定义新随机变量
induced distribution	诱导分布	$X$ 的分布经 $g$ 产生的 $Y$ 的分布
inverse image	原像	所有被 $g$ 映到目标集合的输入点
inverse function	反函数	仅在一一对应时存在的单值函数
support	支撑集	随机变量可能取值的范围
inverse branch	反函数分支	非单调函数在单调子区间上的反函数
Jacobian	雅可比因子	一维中为 $
probability integral transform	概率积分变换	连续 $X$ 满足 $F_X(X)\sim U(0,1)$
generalized inverse	广义逆	$F^{-1}(u)=\inf \{x:F(x)\ge u\}$
inverse transform sampling	逆变换抽样	用 $F^{-1}(U)$ 生成目标分布样本

11. One-Minute Review / 一分钟复习

1. 变换问题先找 support，再决定方法；
2. 离散变换对同一 $y$ 的所有点概率求和；
3. 非单调连续变换必须找全 inverse branches；
4. CDF method 最稳健：先算 $P(g(X)\le y)$，再求导；
5. 密度变换公式中的 Jacobian 必须取绝对值；
6. 连续 $X$ 满足 $F_X(X)\sim U(0,1)$；
7. 反过来，$F^{-1}(U)$ 可以生成 CDF 为 $F$ 的随机变量。