2026-09-23-Note

课程导航

课程首页：Probability Theory
前置内容：Distribution Functions, Mass Functions, and Density Functions
后续内容：Transformation Techniques and Probability Integral Transform
课程资料：02 Transformations and Expectations, pp.1–17；Casella & Berger, Statistical Inference, Ch2

Transformations and Expected Values / 随机变量的变换与期望

1. Distributions of Functions of a Random Variable / 随机变量函数的分布

设随机变量 $X$ 的分布已知，并定义

$$Y=g(X).$$

目标是由 $X$ 的分布求出 $Y$ 的分布。首先要确定 $g$ 在 $X$ 的 support 上是否 one-to-one，再选择离散求和、CDF method 或 change of variables。

1.1 Discrete Transformations / 离散变换

Theorem

If $X$ is discrete and $Y=g(X)$, then

$$p_Y(y)=\sum _{x:g(x)=y}{p}_X(x).$$

同一个 $y$ 可能对应多个 $x$。因此，$Y=y$ 的概率等于所有满足 $g(x)=y$ 的原像点概率之和。

Example

设 $X$ 在集合 $\{-2,-1,0,1,2\}$ 上均匀分布，令 $Y=X^2$。则

$$\begin{array}{rl}P(Y=0)& =P(X=0)=\frac{1}{5},\\ P(Y=1)& =P(X=-1)+P(X=1)=\frac{2}{5},\\ P(Y=4)& =P(X=-2)+P(X=2)=\frac{2}{5}.\end{array}$$

$g(x)=x^2$ 不是 one-to-one，所以除 $0$ 外，每个 $Y$ 的可能取值都要合并两个原像点的概率。

1.2 CDF Method / 分布函数法

Definition

For $Y=g(X)$, begin with

$$F_Y(y)=P(g(X)\le y).$$

Rewrite the event in terms of $X$, then differentiate when a density exists.

CDF method 直接处理事件 $\{g(X)\le y\}$，不要求 $g$ 单调。它特别适用于非单调变换、最大值或最小值，以及变换后 support 随 $y$ 改变的情形。

求解时需要先把不等式改写为关于 $X$ 的事件：

$$\begin{array}{rl}{F}_Y(y)& =P(Y\le y)\\ & =P(g(X)\le y).\end{array}$$

若最后得到的 $F_Y$ 可微，则

$$f_Y(y)=F_Y^{\prime }(y).$$

1.3 One-to-One Change of Variables / 一一变量变换

Theorem

Suppose $Y=g(X)$ and $g$ is strictly monotone and differentiable. If $x=g^{-1}(y)$, then

$$f_Y(y)=f_X(g^{-1}(y))\left|\frac{d}{dy}{g}^{-1}(y)\right|$$

for $y$ in the transformed support.

绝对导数

$$\left|\frac{d}{dy}{g}^{-1}(y)\right|$$

是 one-dimensional Jacobian。它修正了变量变换对区间长度的伸缩，使变换前后的概率保持一致。

Example

设 $U\sim \mathrm{Unif}(0,1)$，并令

$$Y=-\log U.$$

由 $u=e^{-y}$ 可知 $Y$ 的 support 为 $y>0$，且

$$\left|\frac{du}{dy}\right|=e^{-y}.$$

因此

$$\begin{array}{rl}{f}_Y(y)& =f_U(e^{-y})\left|\frac{du}{dy}\right|\\ & =e^{-y},y>0.\end{array}$$

故

$$Y\sim \mathrm{Exp}(1).$$

也可用 CDF method 验证：对 $y>0$，

$$\begin{array}{rl}{F}_Y(y)& =P(-\log U\le y)\\ & =P(U\ge e^{-y})\\ & =1-e^{-y}.\end{array}$$

1.4 Non-One-to-One Transformations / 非一一变换

Theorem

If $g$ has inverse branches $x_j(y)$, then

$$f_Y(y)=\sum _j{f}_X(x_j(y))\left|\frac{d{x}_j}{dy}\right|.$$

当一个 $y$ 对应多个原像点时，每个 inverse branch 都贡献一项，最后把这些密度相加。

Example

令 $Y=X^2$。对 $y>0$，两个 inverse branches 为

$$x_1(y)=\sqrt{y},x_2(y)=-\sqrt{y}.$$

相应的 Jacobian 绝对值均为 $1/(2\sqrt{y})$，所以

$$f_Y(y)=\frac{f_X(\sqrt{y})+f_X(-\sqrt{y})}{2\sqrt{y}},y>0.$$

1.5 Normal and Chi-Square Distributions / 正态分布与卡方分布

Theorem

If $Z\sim N(0,1)$, then

$$Z^2\sim {\chi }_1^2.$$

令 $Y=Z^2$。标准正态密度关于原点对称，因此对 $y>0$，

$$\begin{array}{rl}{f}_Y(y)& =\frac{\varphi (\sqrt{y})+\varphi (-\sqrt{y})}{2\sqrt{y}}\\ & =\frac{1}{\sqrt{2\pi y}}{e}^{-y/2}.\end{array}$$

这正是自由度为 $1$ 的 chi-square density。

进行变量变换时，应先写出 $X$ 的 support，再求 $Y=g(X)$ 的 support，并列出全部 inverse branches。所得 PMF 或 PDF 还应满足非负性和总质量为 $1$。

2. Expected Values / 期望

2.1 Law of the Unconscious Statistician (LOTUS) / 无意识统计学家法则

Theorem

For a function $g$ for which the expectation exists,

$$E[g(X)]=\sum _{x}g(x)p_X(x)$$

for discrete $X$, and

$$E[g(X)]={\int }_{-\infty }^{\infty }g(x)f_X(x)dx$$

for continuous $X$.

该结论称为 Law of the Unconscious Statistician (LOTUS)。计算 $E[g(X)]$ 时，可以直接对 $X$ 的分布求和或积分，不必先推导 $Y=g(X)$ 的分布。

例如，若 $X$ 连续且二阶矩存在，则

$$E[X^2]={\int }_{-\infty }^{\infty }{x}^2{f}_X(x)dx.$$

2.2 Linearity of Expectation / 期望的线性性质

Theorem

Whenever the expectations exist,

$$E[aX+bY+c]=aE[X]+bE[Y]+c.$$

Independence is not required.

更一般地，

$$E\left[\sum _{i=1}^n{a}_i{X}_i\right]=\sum _{i=1}^n{a}_{i}E[X_i].$$

期望的线性性只要求相关期望存在，不要求随机变量之间独立。独立性会在乘积期望或方差加法中发挥作用，但不是线性性的前提。

2.3 Indicator Variables / 指示变量

Definition

For an event $A$, let $1_A$ equal $1$ when $A$ occurs and $0$ otherwise. Then

$$E[1_A]=P(A).$$

示性变量把事件是否发生转化为取值为 $0$ 或 $1$ 的随机变量。若

$$N=\sum _{i=1}^n{1}_{\{X_i\in A\}}$$

表示落入集合 $A$ 的观测个数，则

$$\begin{array}{rl}E[N]& =\sum _{i=1}^{n}E\left[1_{\{X_i\in A\}}\right]\\ & =\sum _{i=1}^{n}P(X_i\in A).\end{array}$$

若 $X_1,\dots ,X_n$ identically distributed，且 $P(X_i\in A)=p$，则

$$E[N]=np.$$

这里仍不需要独立性；只要每一项的边缘概率为 $p$ 即可。

2.4 Variance / 方差

Definition

The variance of $X$ is

$$\mathrm{Var}(X)=E\left[(X-E[X]{)}^2\right]=E[X^2]-E[X{]}^2.$$

方差度量随机变量围绕均值的平方离散程度。由定义可得

$$\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X).$$

平移常数 $b$ 不改变离散程度，而缩放 $a$ 会使方差乘以 $a^2$。

2.5 The Mean Minimizes Squared Distance / 均值最小化平方距离

Theorem

If $E[X^2]<\infty$, then the constant $a$ minimizing

$$E[(X-a{)}^2]$$

is $a=E[X]$.

Proof

令 $\mu =E[X]$，则

$$\begin{array}{rl}E[(X-a{)}^2]& =E[(X-\mu +\mu -a{)}^2]\\ & =E[(X-\mu {)}^2]+2(\mu -a)E[X-\mu ]+(\mu -a{)}^2\\ & =\mathrm{Var}(X)+(\mu -a{)}^2.\end{array}$$

第一项与 $a$ 无关，第二项在且仅在 $a=\mu$ 时为 $0$，所以均值是平方损失下的最优常数预测。