2026-09-09-Note

课程导航

课程首页：Probability Theory
前置内容：集合论与概率论基础
后续内容：条件概率、全概率公式与 Bayes 公式
课程资料：Lecture slides Ch1 Part 1；Casella & Berger, Statistical Inference, Ch1

Probability Axioms and Counting Methods / 概率公理与计数方法

1. Probability Models and Axioms / 概率模型与概率公理

课件对完整模型的表述是：a complete probability model is $(S,\mathcal{B},P)$，其中 $S$ 是 sample space，$\mathcal{B}$ 是 events 的集合，$P$ 为事件赋予概率。

Definition

A probability function $P:\mathcal{B}\to [0,1]$ satisfies:

1. $P(A)\ge 0$ for every $A\in \mathcal{B}$;
2. $P(S)=1$;
3. if $A_1,A_2,\dots$ are pairwise disjoint, then $$P\left(\bigcup _{i=1}^{\infty }{A}_i\right)=\sum _{i=1}^{\infty }P(A_i).$$

因此，一个完整的概率模型写作 $(S,\mathcal{B},P)$，且

$$P:\mathcal{B}\to [0,1].$$

三条要求依次称为 nonnegativity、normalization 与 countable additivity。

建模含义

概率公理只约束概率如何运算，并不自动确定某个随机试验应采用哪一种概率模型。具体概率仍来自建模假设或数据。

2. Consequences of the Probability Axioms / 概率公理的推论

基本结论为

$$\begin{array}{rl}P(\varnothing )& =0,\\ 0& \le P(A)\le 1,\\ P(A^c)& =1-P(A),\\ A\subseteq B& \Rightarrow P(A)\le P(B).\end{array}$$

两事件公式为

$$\begin{array}{rl}P(B\cap A^c)& =P(B)-P(A\cap B),\\ P(A\cup B)& =P(A)+P(B)-P(A\cap B).\end{array}$$

3. Partition Formula and Probability Inequalities / 分割公式与概率不等式

若 $\{C_i\}$ 是 $S$ 的一个分割，则

$$P(A)=\sum _{i}P(A\cap C_i).$$

Boole inequality

$$P\left(\bigcup _i{A}_i\right)\le \sum _{i}P(A_i).$$

Bonferroni lower bound

$$P\left(\bigcap _{i=1}^n{A}_i\right)\ge \sum _{i=1}^{n}P(A_i)-(n-1).$$

当 $n=2$ 时，

$$P(A\cap B)\ge P(A)+P(B)-1.$$

4. Constructing Probabilities on Countable Sample Spaces / 可数样本空间上的概率构造

设

$$S=\{s_1,s_2,\dots \}$$

为有限或可数样本空间。若 $p_i\ge 0$ 且 ${\sum }_i{p}_i=1$，则

$$P(A)=\sum _{i:s_i\in A}{p}_i$$

定义了一个概率函数，即为每个基本结果分配概率质量，再对事件中的结果求和。

5. Combinatorial Analysis / 组合计数

5.1 Basic Principle of Counting / 计数基本原理

• basic principle of counting：连续 $k$ 个步骤分别有 $n_1,\dots ,n_k$ 种选择时，总方案数为 $n_1\cdots n_k$；
• factorial：$n!=n(n-1)\cdots 1$，并约定 $0!=1$。

从 $n$ 个对象中抽取 $r$ 个对象：

抽样方式	有序	无序
不放回	$\frac{n!}{(n-r)!}$	$\left(\genfrac{}{}{0ex}{}{n}{r}\right)=\frac{n!}{r!(n-r)!}$
放回	$n^r$	$\left(\genfrac{}{}{0ex}{}{n+r-1}{r}\right)$

5.2 Stars and Bars and Multinomial Coefficients / 隔板法与多项式系数

隔板法（stars and bars）把 $r$ 个相同对象分配到 $n$ 个类别中，对应排列 $r$ 个星号与 $n-1$ 个隔板。

若 $k$ 个位置中有 $m$ 类元素，各类分别重复 $k_1,\dots ,k_m$ 次，则不同排列数为

$$\frac{k!}{k_1!k_2!\cdots k_m!}.$$

6. Equally Likely Models / 等可能模型

若有限样本空间的 $N$ 个基本结果确实等可能，则

$$P(A)=\frac{|A|}{|S|}.$$

使用条件

只有基本结果真正等可能时，才能使用“有利结果数除以总结果数”。无序结果不会因为表达方便而自动等可能。