概率论

一：随机事件与概率

事件

事件的概念

• 样本空间$\Omega$
  • 其单元素子集：基本事件
  • 其最大子集：必然事件
  • 最小子集：即空集$\empty$，不可能事件
• 事件域$F$

事件的关系

• 包含
  • $A\subset B$：A被包含在B、B包含A、A发生时B一定发生
• 相等
  • $A=B$：A等于B，两事件是同一个集合、描述的是同一件事
• 互不相容
  • A和B不能同时发生

事件的运算

基本运算

• 并
  • $A \cup B$：A和B至少有一个会发生
• 交
  • $A \cap B$：A和B同时发生
• 差
  • $A-B$：A发生，但B不发生
• 对立
  • $\overline{A}$：即$\Omega - A$

运算性质

• 交换律
• 结合律
• 分配律
• 对偶律（德摩根公式）
  • $\overline{A \cup B} = \overline{A} \cap \overline{B}$：并的对立等于对立的交
  • $\overline{A \cap B} = \overline{A} \cup \overline{B}$：交的对立等于对立的并

概率

公理化表示

设$\Omega$为一个样本空间，$F$为$\Omega$的某些子集组成的一个事件域，对任意事件$A \in F$，有一个定义在$F$上的实值函数$P(A)$，满足：

• 非负
  • $P(A) \ge 0$
• 正则
  • $P(\Omega) = 1$
• 可列可加
  • 若$A_1,A_2,A_3,…A_n$互不相容，则和的概率等于概率的和

则称$P(A)$为事件$A$的概率，$(\Omega, F, P)$为概率空间

排列

n中取r，考虑顺序
$$
P^r_n = \frac{n!}{(n-r)!}
$$
全排列
$$
P_n = n!
$$

• 注意，这里的P是方案数的意思

组合

n中取r，不考虑顺序
$$
C^r_n=\binom{n}{r}=\binom{n}{n-r}=\frac{n!}{r!(n-r)!}
$$
并规定
$$
C^0_n=1
$$

频率

• $n(A)$：频数，n次重复实验中事件A出现的次数

• $f_n(A)$：频率=频数/n

• 我们认为频率的稳定值就是概率

古典概率

通过样本数进行估计
$$
P(A)=\frac{事件A所含样本数}{\Omega 所含样本总数}
$$

几何概率

通过面积、体积进行估计
$$
P(A)=\frac{S_A}{S_{\Omega}}
$$

• 蒙特卡洛方法

概率的性质

• $P(\Omega)=1$
• $P(\empty)=0$
• 有限可加性：和的概率等于概率之和
• $P(\overline{A}) = 1-P(A)$
• 若$A\sub B$
  • $P(B-A) = P(B)-P(A) =P(B) - P(AB)$
  • $P(B) \ge P(A)$
• $P(A\cup B)=P(A)+P(B)-P(AB)$

条件概率

• 条件概率：在B发生的情况下，A发生的概率

$$
P(A|B) = \frac{P(AB)}{P(B)}
$$

• 乘法公式

$$
P(A_1…A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)…P(A_n|A_1…A_n-1)
$$

• 全概率公式

$$
P(A) = \sum^{n}_{i=1}P(B_i)P(A|B_i)
$$

$$
P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B})
$$

• 贝叶斯公式（用于计算后验概率）

$$
P(B|A)=\frac{P(B)P(A|B)}{P(B)P(A|B)+P(\overline{B})P(A|\overline{B})}
$$

独立性

若$P(AB)=P(A)P(B)$，则称AB两事件相互独立

• 独立重复试验

二：随机变量及其分布

随机变量

定义在样本空间$\Omega$上的实值函数$X=X(\omega)$称为随机变量，$\omega$是样本点

• 当$\omega$变化时，$X$会变化，这东西更像一个函数，不要被“变量”给迷惑了

随机事件

随机事件是随机变量的集合

若$B$是某些实数组成的集合，$B\sub R$，则${X \in B}$表示随机事件：
$$
{\omega:X(\omega) \in B} \sub \Omega
$$
特别的，${X \in B}$可以写成类似${X \le a }$、${ a < X < b}$

分布列

$$
p(x_i) = P(X=x_i)
$$

分布函数

设$X$是一个连续随机变量，对于任意实数$x$，称
$$
F(x) = P(X \le x)
$$
为随机变量$X$的分布函数，并称$X$服从$F(x)$，记为$X \sim F(x) $

• $F(x)$定义域$(-\infty， \infty)$，值域$[0, 1]$

• $F(x)$满足

  • 单调非减
  • 有界
  • 右连续，即$F(x_0+0)=F(x_0)$

概率密度函数

设随机变量$X$的分布函数为$F(x)$，如果存在实数轴上一个非负可积函数$p(x)$，使得对任意实数$x$有
$$
F(x) = \int^x_{-\infty}p(t)\mathrm{d}t
$$
则称$p(x)$为$X$的概率密度函数

在$F(x)$可导的点上，$F’(x)=p(x)$

• 非负性
• 正则性

期望

离散

对于离散随机变量$X$，其分布列为$p(x_i), i=1,2,3…n,…$

若级数不收敛，即
$$
\sum^n_{i=1}|x_i|p(x_i) < \infty
$$
则称
$$
E(X) = \sum^{\infty}_{i = 1}x_i p(x_i)
$$
为随机变量$X$、或者该分布的数学期望

连续

设连续随机变量$X$的概率密度函数为$p(x)$

若
$$
\int^{\infty}{-\infty}|x|p(x)\mathrm{d}x < \infty
$$
则称
$$
E(X) = \int^{\infty}{-\infty}xp(x)\mathrm{d}x
$$
为$X$的数学期望

• 数学期望的物理解释是重心

性质

$$
E[g(X)]=\sum_{i}g(x_i)p(x_i)
$$

$$
E©=c
$$

$$
E(aX)=aE(X)
$$

$$
E[g_1(X) + g_2(X)]=E[g_1(X)]+E[g_2(X)]
$$

方差

$$
Var(X)=E(X-E(X))^2
$$

标准差
$$
\sigma(X) = \sqrt{Var(X)}
$$

性质

$$
Var(X)=E(X^2)-[E(X)]^2
$$

$$
Var© = 0
$$

$$
Var(aX+b)=a^2Var(X)
$$

切比雪夫不等式

出现大偏差的概率的上下界，与方差呈正比
$$
P(|X-E(X)| \ge \epsilon) \le \frac{Var(X)}{\epsilon^2}
$$
若方差为0，则
$$
P(X=E(X))=1
$$

常见分布

• 离散

  • 二项分布

  • 两点分布

  • 泊松分布

  • 超几何分布

• 连续

  • 正态分布
  • 均匀分布
  • 指数分布
  • 伽马分布
  • 贝塔分布

三：多维随机变量及其分布

多维随机变量

如果$X_1(\omega),X_2(\omega),X_3(\omega)…X_n(\omega)$是定义在同一样本空间$\Omega = {\omega}$上的n个随机变量，则称
$$
X(\omega)=(X_1(\omega),X_2(\omega),X_3(\omega)…X_n(\omega))
$$
为N维随机变量

• 必须为同一样本空间

N个小孩中，身高是一个随机变量，体重也是一个随机变量，（身高，体重）是一个二维随机变量

联合分布函数

$$
F(x_1, x_2,…,x_n)=P(X_1\le x_1, X_2 \le x_2, …, X_n \le x_n)
$$

为n维随机变量$(X_1, X_2, …,X_n)$的联合分布函数

独立性

若
$$
F(x_1, x_2,…,x_n)=\prod^n_{i=1}F_i(x_i)
$$
则称$X_1, X_2, …,X_n$相互独立（充要条件）

• 简单说，独立的随机变量，联合概率密度可以直接相乘

期望

$$
E(Z)=\sum_i \sum_j g(x_i, y_j)P(X=x_i, Y=y_j)
$$

$$
E(Z)=\int^{\infty}{-\infty} \int^{\infty}{-\infty} g(x,y)p(x,y)\mathrm{d}x\mathrm{d}y
$$

重期望公式

$$
E(X)=E(E(X|Y))
$$

四：大数定律与中心极限定理

收敛性

• 依概率收敛：大数定律
• 按分布收敛：中心极限定理

依概率收敛

有的随机变量X的概率非常难求，如果可以找到一个简单的随机变量Y的分布来拟合X，可以大幅简化计算

设${X_n}$为以随机变量序列，$X$为一随机变量，对任意$\varepsilon > 0$，有
$$
P(|X_n - X| \ge \varepsilon)\rightarrow 0 \ \ (n\rightarrow \infty)
$$
则称序列${X_n}$依概率收敛于X，记作$X_n \xrightarrow{P} X$

• 简单来说，就是概率集中在某个X处

弱收敛

若
$$
\lim_{n \rightarrow \infty}F_n(x)=F(x)
$$
则称${F_n(x)}$弱收敛于$F(x)$，记作$F_n(x) \xrightarrow{W} F(x)$

也称序列${X_n}$按分布收敛于X，记作$X_n \xrightarrow{L} X$

• 依概率收敛比按分布收敛，收敛性更强

特征函数

设X是一个随机变量，称
$$
\varphi(t)=E(e^{itX})
$$
为X的特征函数

• 任一随机变量的特征函数总是存在

大数定理

伯努利大数定理

$$
\lim_{n \rightarrow \infty}P(|\frac{S_n}{n} - p| < \varepsilon)=1
$$

意义为：随着n次数的增多，频率会越来越接近概率（随机变量序列的算数平均 依概率收敛到 其均值的算数平均）

中心极限定理

在某些情况下，随机变量和 的分布函数收敛于正态分布