2026-09-21-Note

课程导航

课程首页：Probability Theory
前置内容：相互独立、随机变量与分布函数
后续内容：Transformations and Expected Values
课程资料：Prob_Stat_Chapter1, pp.66–85；Casella & Berger, Statistical Inference, Ch1

Distribution Functions, Mass Functions, and Density Functions / 分布函数、概率质量函数与概率密度函数

1. Cumulative Distribution Function / 累积分布函数

1.1 Characterization of a CDF / CDF 的刻画

Theorem

Characterization of a cdf. A function $F$ is a cdf if and only if:

1. ${\lim }_{x\to -\infty }F(x)=0$ and ${\lim }_{x\to \infty }F(x)=1$;
2. $F$ is nondecreasing;
3. $F$ is right-continuous.

一个函数能够成为某个随机变量的累积分布函数，当且仅当它满足左右端极限、单调不减和右连续三个条件。这三个条件不仅是必要条件，也是充分条件。

• 两端极限说明总概率从 $0$ 累积到 $1$；
• 单调不减来自事件包含关系： $$x_1<x_2⟹\{X\le x_1\}\subseteq \{X\le x_2\};$$
• 右连续表示从右侧逼近 $x_0$ 时，CDF 回到 $F_X(x_0)$。

1.2 Right-Continuity / 右连续性

当 $x\downarrow x_0$ 时，事件 $\{X\le x\}$ 单调递减到 $\{X\le x_0\}$。由概率测度对递减事件列的连续性，

$$\underset{x\downarrow x_0}{\lim }{F}_X(x)=P(X\le x_0)=F_X(x_0).$$

因此 CDF 必须右连续。它不一定左连续；左侧的跳跃恰好记录点概率。

1.3 Jump Probabilities / 跳跃概率

定义左极限

$$F_X(x_0^{-})=\underset{x\uparrow x_0}{\lim }{F}_X(x).$$

则

$$P(X=x_0)=F_X(x_0)-F_X(x_0^{-}).$$

若 CDF 在 $x_0$ 连续，则该点没有概率质量：

$$F_X(x_0)=F_X(x_0^{-})⟹P(X=x_0)=0.$$

1.4 Interval Probabilities / 区间概率

对任意随机变量，

$$\begin{array}{rl}P(a<X\le b)& =F_X(b)-F_X(a),\\ P(a\le X\le b)& =F_X(b)-F_X(a^{-}).\end{array}$$

其他端点形式也可由点概率推出：

$$\begin{array}{rl}P(a<X<b)& =F_X(b^{-})-F_X(a),\\ P(a\le X<b)& =F_X(b^{-})-F_X(a^{-}).\end{array}$$

当 CDF 在 $a,b$ 都连续时，四种开闭区间的概率相同；对离散型随机变量则必须保留端点差异。

2. Examples of CDFs / 累积分布函数示例

2.1 CDF of the Geometric Distribution / 几何分布的 CDF

令 $X$ 表示独立 Bernoulli 试验中第一次成功所需的试验次数，单次成功概率为 $p$。则

$$P(X=x)=(1-p{)}^{x-1}p,x=1,2,\dots$$

对正整数 $x$，

$$\begin{array}{rl}{F}_X(x)& =\sum _{i=1}^x(1-p{)}^{i-1}p\\ & =1-(1-p{)}^x.\end{array}$$

对任意实数 $x$，完整形式可写为

$$F_X(x)=\{\begin{array}{ll}0,& x<1,\\ 1-(1-p{)}^{\lfloor x\rfloor },& x\ge 1.\end{array}$$

CDF 只在正整数处跳跃，相邻整数之间保持不变。

2.2 Logistic CDF / Logistic 分布函数

考虑

$$F(x)=\frac{1}{1+e^{-x}}.$$

其两端极限与导数为

$$\begin{array}{rl}\underset{x\to -\infty }{\lim }F(x)& =0,\\ \underset{x\to \infty }{\lim }F(x)& =1,\\ F^{\prime }(x)& =\frac{e^{-x}}{(1+e^{-x}{)}^2}>0.\end{array}$$

因此它连续、严格递增，并满足 CDF 的全部条件。

3. Identically Distributed Random Variables / 同分布随机变量

Definition

Random variables $X$ and $Y$ are identically distributed if

$$P(X\in A)=P(Y\in A)$$

for every admissible set $A$.

若 $X$ 与 $Y$ 落入任意可测集合的概率都相同，则称二者同分布。它们可以定义在不同样本空间上，也可以是同一样本空间上的不同函数。

Theorem

$X$ and $Y$ are identically distributed if and only if

$$F_X(x)=F_Y(x)$$

for every real $x$.

一维随机变量的 CDF 唯一决定其概率分布。因此比较两个随机变量是否同分布，只需比较它们在所有实数处的 CDF。

Example 1: Numbers of Heads and Tails in Three Tosses / 例 1：三次抛硬币中的正面数与反面数

三次公平抛硬币，令

$$\begin{array}{rl}X& =\text{number of heads},\\ Y& =\text{number of tails}.\end{array}$$

$X$ 与 $Y$ 都服从参数为 $(3,1/2)$ 的二项分布，所以同分布。但对每个具体试验结果，

$$X+Y=3,$$

二者通常不相等，而且存在完全的函数关系。

Identically distributed

同分布不表示 $X$ 与 $Y$ 是样本空间上的同一个函数，也不表示它们相互独立。它只说明两者的边缘概率规律相同。

4. Probability Mass Function / 概率质量函数

4.1 Definition / 定义

Definition

For a discrete random variable $X$, the probability mass function is

$$f_X(x)=P(X=x).$$

对离散型随机变量，PMF 直接把每个可能取值映射到该点的概率质量。

它满足

$$\begin{array}{rl}{f}_X(x)& \ge 0,\\ \sum _x{f}_X(x)& =1.\end{array}$$

随机变量的 support 为

$$\mathrm{supp}(X)=\{x:P(X=x)>0\}.$$

PMF 与 CDF 的关系是

$$\begin{array}{rl}{F}_X(x)& =\sum _{y\le x}{f}_X(y),\\ f_X(x)& =F_X(x)-F_X(x^{-}).\end{array}$$

因此 PMF 的函数值正是 CDF 在相应取值点的跳跃高度。

4.2 Geometric PMF / 几何分布的概率质量函数

对第一次成功等待时间，

$$f_X(x)=\{\begin{array}{ll}(1-p{)}^{x-1}p,& x=1,2,\dots ,\\ 0,& \text{otherwise}.\end{array}$$

若 $1\le a\le b$ 且 $a,b$ 为整数，则

$$\begin{array}{rl}P(a\le X\le b)& =\sum _{k=a}^b(1-p{)}^{k-1}p\\ & =(1-p{)}^{a-1}-(1-p{)}^b.\end{array}$$

5. Probability Density Function / 概率密度函数

5.1 Definition / 定义

Definition

A function $f_X$ is a probability density function for a continuous random variable $X$ when

$$F_X(x)={\int }_{-\infty }^x{f}_X(t)dt$$

for every $x$.

对连续型随机变量，PDF 不是点概率，而是单位长度附近的概率密度；从 $-\infty$ 积分到 $x$ 才得到累计概率。

若 $F_X$ 可微，则

$$f_X(x)=F_X^{\prime }(x).$$

反过来，由密度积分可得区间概率：

$$\begin{array}{rl}P(a<X\le b)& =F_X(b)-F_X(a)\\ & ={\int }_a^b{f}_X(x)dx.\end{array}$$

5.2 Point Probabilities / 点概率

对连续型随机变量，

$$P(X=x)=0$$

对每个 $x$ 都成立。因此

$$P(a<X<b)=P(a\le X\le b)=P(a<X\le b).$$

Density is not probability

$f_X(x)$ 不是 $P(X=x)$。密度值可以大于 $1$；只要 $f_X$ 非负且曲线下的总面积为 $1$，它就是合法密度。概率必须通过对集合积分得到。

5.3 Uniform Density on an Interval / 区间上的均匀密度

若

$$f_X(x)=\{\begin{array}{ll}\frac{1}{b-a},& a<x<b,\\ 0,& \text{otherwise},\end{array}$$

则对 $a\le c<d\le b$，

$$\begin{array}{rl}P(c<X<d)& ={\int }_c^d\frac{1}{b-a}dx\\ & =\frac{d-c}{b-a}.\end{array}$$

密度为常数，因此概率与区间长度成正比。

6. Normalization / 归一化

Theorem

A function $f$ is a valid pmf or pdf if and only if:

1. $f(x)\ge 0$ for all $x$;
2. the total mass equals one.

概率质量或概率密度必须处处非负，而且在整个取值空间上的总质量必须恰好等于 $1$。

分别写成

$$\begin{array}{rlrl}\sum _{x}f(x)& =1& & \text{for a pmf},\\ {\int }_{-\infty }^{\infty }f(x)dx& =1& & \text{for a pdf}.\end{array}$$

6.1 Normalization Principle / 归一化原则

若 $h(x)\ge 0$ 且

$$0<K={\int }_{-\infty }^{\infty }h(x)dx<\infty ,$$

则

$$f(x)=\frac{h(x)}{K}$$

是合法 PDF。$h$ 决定分布的形状，归一化常数 $K$ 把曲线下的总面积调整为 $1$。

对离散情形同理：若 $h(x)\ge 0$ 且 $0<{\sum }_{x}h(x)<\infty$，则用总和归一化即可得到 PMF。

Example 2: Finding a Normalizing Constant / 例 2：求归一化常数

设

$$f(x)=\{\begin{array}{ll}c{x}^2,& 0<x<1,\\ 0,& \text{otherwise}.\end{array}$$

由总面积为 $1$，

$$\begin{array}{rl}1& ={\int }_0^{1}c{x}^{2}dx\\ & =\frac{c}{3},\end{array}$$

故 $c=3$。于是

$$\begin{array}{rl}P\left(X>\frac{1}{2}\right)& ={\int }_{1/2}^{1}3x^{2}dx\\ & =1-\frac{1}{8}\\ & =\frac{7}{8}.\end{array}$$

Example 3: Logistic Density / 例 3：Logistic 密度

由

$$F_X(x)=\frac{1}{1+e^{-x}},$$

求导得到

$$f_X(x)=F_X^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}.$$

区间概率既可由 CDF 作差，也可对 PDF 积分：

$$\begin{array}{rl}P(a<X<b)& ={\int }_a^b{f}_X(x)dx\\ & =F_X(b)-F_X(a).\end{array}$$

当密度表示存在时，CDF 与 PDF 携带同一分布的全部信息；二者只是累积表示与局部密度表示的区别。

7. Discrete and Continuous Random Variables / 离散与连续随机变量

项目	Discrete random variable	Continuous random variable
核心函数	PMF $f_X(x)=P(X=x)$	PDF $f_X(x)$
点概率	$P(X=x)=f_X(x)$，可以为正	$P(X=x)=0$
CDF	$F_X(x)=\sum _{t\le x}{f}_X(t)$	$F_X(x)={\int }_{-\infty }^x{f}_X(t)dt$
区间概率	对区间内 PMF 求和	对区间上 PDF 积分
CDF 形状	通常为带跳跃的阶梯函数	若存在 PDF，则 CDF 连续且绝对连续
与 CDF 的联系	PMF 是 CDF 的跳跃量	PDF 在可微点是 CDF 的导数

统一地说，CDF 对所有随机变量都存在；PMF 与 PDF 是适用于特定分布类型的更便捷表示。

8. Quiz 7 and Quiz 8 / 小测 7 与小测 8

8.1 Quiz 7: Distribution Functions / 小测 7：分布函数

Problem 1

命中点在半径 $R=2$ 的圆靶上按面积均匀分布，$X$ 为到圆心的距离。由

$$F_X(x)=\frac{x^2}{R^2},0\le x\le R,$$

得

$$\begin{array}{rl}{F}_X(1)& =\frac{1}{4},\\ P(1<X\le 1.5)& =F_X(1.5)-F_X(1)\\ & =\frac{2.25-1}{4}=\frac{5}{16}.\end{array}$$

Problem 2

函数

$$F(x)=\{\begin{array}{ll}0,& x<0,\\ x/2,& 0\le x<2,\\ 1,& x\ge 2\end{array}$$

是合法 CDF：它单调不减、右连续，并且在 $\pm \infty$ 处的极限分别为 $0$ 与 $1$。

Problem 3

若 $F(2^{-})=0.65$、$F(2)=0.80$，则

$$P(X=2)=F(2)-F(2^{-})=\mathrm{0.15.}$$

8.2 Quiz 8: PMFs and PDFs / 小测 8：概率质量函数与概率密度函数

Problem 1

设 $f(x)=c(1-x)$，$0<x<1$。归一化给出

$$\begin{array}{rl}1& ={\int }_0^{1}c(1-x)dx=\frac{c}{2},\\ c& =2.\end{array}$$

因此

$$\begin{array}{rl}P\left(X<\frac{1}{2}\right)& ={\int }_0^{1/2}2(1-x)dx\\ & =\frac{3}{4}.\end{array}$$

Problem 2

设离散变量的 PMF 为 $f(k)=c/2^k$，$k=1,2,\dots$。因为

$$\sum _{k=1}^{\infty }\frac{1}{2^k}=1,$$

所以 $c=1$，并且

$$\begin{array}{rl}P(X\ge 3)& =\sum _{k=3}^{\infty }\frac{1}{2^k}\\ & =\frac{1}{4}.\end{array}$$

Problem 3

若 $f(x)=1/4$，$0<x<4$，则

$$\begin{array}{rl}P(1<X<3)& ={\int }_1^3\frac{1}{4}dx=\frac{1}{2},\\ P(X=2)& =0.\end{array}$$