2026-09-14-Note

课程导航

课程首页：Probability Theory
前置内容：概率公理与计数方法
后续内容：相互独立、随机变量与分布函数
课程资料：Prob_Stat_Chapter1, pp.40–51；Casella & Berger, Statistical Inference, Ch1

Conditional Probability, Bayes’ Rule, and Independence / 条件概率、Bayes 公式与独立性

1. Conditional Probability / 条件概率

Definition

For events $A$ and $B$ with $P(B)>0$, the conditional probability of $A$ given $B$ is

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}.$$

获知 $B$ 已发生后，有效样本空间被限制到 $B$；$P(A\mid B)$ 衡量 $B$ 中同时属于 $A$ 的概率质量占比。

1.1 Multiplication Rule / 乘法公式

由定义直接得到

$$P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A).$$

对 $A_1,\dots ,A_n$ 反复使用乘法公式，可得 chain rule：

$$P\left(\bigcap _{i=1}^n{A}_i\right)=P(A_1)\prod _{i=2}^{n}P\left(A_i|\bigcap _{j=1}^{i-1}{A}_j\right),$$

前提是式中的条件概率均有定义。

Example 1: Drawing Four Aces in Succession / 例 1：连续抽到四张 A

一副 52 张的标准扑克牌不放回抽取，前四张全是 A 的概率为

$$\begin{array}{rl}P(\text{first four cards are aces})& =\frac{4}{52}\cdot \frac{3}{51}\cdot \frac{2}{50}\cdot \frac{1}{49}\\ & =\frac{1}{\left(\genfrac{}{}{0ex}{}{52}{4}\right)}.\end{array}$$

每次抽牌都会改变下一次的条件样本空间，因此各因子的分子、分母依次减少。

Example 2: Sampling Balls without Replacement / 例 2：不放回抽球

盒中有 $r$ 个红球和 $b$ 个蓝球。连续不放回抽取两个球，令

$$A=\{\text{first ball is red}\},B=\{\text{second ball is blue}\}.$$

则

$$P(A)=\frac{r}{r+b},P(B\mid A)=\frac{b}{r+b-1},$$

所以

$$P(A\cap B)=\frac{r}{r+b}\cdot \frac{b}{r+b-1}.$$

2. Law of Total Probability / 全概率公式

若 $A_1,A_2,\dots$ 构成样本空间 $S$ 的一个 partition，即两两互斥且并集为 $S$，则对任意事件 $B$，

$$P(B)=\sum _{i}P(B\cap A_i)=\sum _{i}P(B\mid A_i)P(A_i).$$

它把事件 $B$ 按照所有可能来源 $A_i$ 拆开，再将各路径的概率相加。

Theorem

If $A_1,A_2,\dots$ form a partition of $S$, then for any event $B$,

$$P(B)=\sum _{i}P(B\mid A_i)P(A_i).$$

Example 3: Three Groups / 例 3：三个组别

若 $P(B_i)=1/3$，且 $P(A\mid B_i)=i/6$，$i=1,2,3$，则

$$\begin{array}{rl}P(A)& =\sum _{i=1}^{3}P(A\mid B_i)P(B_i)\\ & =\frac{1}{3}\left(\frac{1}{6}+\frac{2}{6}+\frac{3}{6}\right)\\ & =\frac{1}{3}.\end{array}$$

3. Bayes’ Rule / Bayes 公式

若 $A_1,A_2,\dots$ 构成 partition 且 $P(B)>0$，则

$$P(A_i\mid B)=\frac{P(B\mid A_i)P(A_i)}{{\sum }_{j}P(B\mid A_j)P(A_j)}.$$

Theorem

If $A_1,A_2,\dots$ form a partition and $P(B)>0$, then

$$P(A_i\mid B)=\frac{P(B\mid A_i)P(A_i)}{{\sum }_{j}P(B\mid A_j)P(A_j)}.$$

Bayes’ rule reverses the direction of conditioning.

Interpretation

Bayes’ rule 把条件方向从 $P(B\mid A_i)$ 反转为 $P(A_i\mid B)$：

$$\text{posterior}\propto \text{likelihood}\times \text{prior}.$$

分母是由全概率公式得到的 $P(B)$，负责把各个未标准化权重归一化。

Example 4: Automobile Insurance Risk Classification / 例 4：汽车保险风险分类

客户被分为高风险 $H$、中风险 $M$ 和低风险 $L$：

$$P(H)=0.25,P(M)=0.25,P(L)=0.50,$$

一年内至少发生一次事故的条件概率为

$$P(A\mid H)=0.25,P(A\mid M)=0.16,P(A\mid L)=\mathrm{0.10.}$$

已知某客户发生事故，则其属于高风险客户的概率为

$$\begin{array}{rl}P(H\mid A)& =\frac{P(A\mid H)P(H)}{P(A\mid H)P(H)+P(A\mid M)P(M)+P(A\mid L)P(L)}\\ & =\frac{0.25\times 0.25}{0.25\times 0.25+0.16\times 0.25+0.10\times 0.50}\\ & \approx \mathrm{0.410.}\end{array}$$

观察到事故后，高风险类型的概率从 prior $0.25$ 更新到 posterior $0.410$。

Example 5: Color Blindness / 例 5：色盲问题

设总体中男性人数与女性人数之比为 $r:1$，则

$$P(M)=\frac{r}{1+r},P(W)=\frac{1}{1+r}.$$

若色盲事件为 $D$，且

$$P(D\mid M)=p,P(D\mid W)=p^2,$$

则随机选出的色盲者为男性的概率为

$$\begin{array}{rl}P(M\mid D)& =\frac{p\frac{r}{1+r}}{p\frac{r}{1+r}+p^2\frac{1}{1+r}}\\ & =\frac{r}{r+p}.\end{array}$$

4. Monty Hall Problem / 三门问题

奖品等概率地藏在帘子 $A,B,C$ 后。先选择 $A$，主持人知道奖品位置，并在另外两扇帘子中打开一扇空帘；假设他打开了 $B$。记

$$B^{\ast }=\{\text{host opens curtain }B\text{ and it is empty}\}.$$

主持人的行为规则意味着

$$P(B^{\ast }\mid A)=\frac{1}{2},P(B^{\ast }\mid B)=0,P(B^{\ast }\mid C)=1.$$

由 Bayes’ rule，

$$\begin{array}{rl}P(A\mid B^{\ast })& =\frac{\frac{1}{2}\cdot \frac{1}{3}}{\frac{1}{2}\cdot \frac{1}{3}+0\cdot \frac{1}{3}+1\cdot \frac{1}{3}}\\ & =\frac{1}{3},\end{array}$$ $$P(C\mid B^{\ast })=\frac{2}{3}.$$

Conclusion

换到 $C$ 的获奖概率为 $2/3$，高于坚持选择 $A$ 的 $1/3$。这个结论依赖主持人“必定打开未选择的空帘，并在有两扇空帘可选时等概率选择”的行为规则。

5. Independence / 独立性

Definition

Events $A$ and $B$ are independent if

$$P(A\cap B)=P(A)P(B).$$

若 $P(B)>0$，则等价地有

$$P(A\mid B)=P(A),$$

即得知 $B$ 发生不会改变 $A$ 的概率。

5.1 Independence and Mutual Exclusivity / 独立与互斥

二者含义不同：

• Disjointness：$A\cap B=\varnothing$，两个事件不能同时发生；
• Independence：一个事件是否发生不提供关于另一个事件的信息。

若 $A,B$ 互斥且 $P(A)>0,P(B)>0$，则

$$P(A\cap B)=0<P(A)P(B),$$

所以它们不可能独立。只有当至少一个事件概率为 $0$ 时，互斥与独立才可能同时成立。

Example 6: At Least One Six in Four Die Rolls / 例 6：四次掷骰至少出现一次 6

独立掷一枚公平骰子四次。使用 complement rule，

$$\begin{array}{rl}P(\text{at least one six})& =1-P(\text{no six})\\ & =1-{\left(\frac{5}{6}\right)}^4\\ & =\frac{671}{1296}\approx \mathrm{0.518.}\end{array}$$

更一般地，若 $A_1,\dots ,A_n$ 相互独立，则其补事件也相互独立，从而

$$\begin{array}{rl}P\left(\bigcup _{i=1}^n{A}_i\right)& =1-P\left(\bigcap _{i=1}^n{A}_i^c\right)\\ & =1-\prod _{i=1}^n(1-P(A_i)).\end{array}$$

若 $P(A_i)=p$，则

$$P\left(\bigcup _{i=1}^n{A}_i\right)=1-(1-p{)}^n.$$