概率论
一:随机事件与概率
事件
事件的概念
- 样本空间$\Omega$
- 其单元素子集:基本事件
- 其最大子集:必然事件
- 最小子集:即空集$\empty$,不可能事件
- 事件域$F$
事件的关系
- 包含
- $A\subset B$:A被包含在B、B包含A、A发生时B一定发生
- 相等
- $A=B$:A等于B,两事件是同一个集合、描述的是同一件事
- 互不相容
- A和B不能同时发生
事件的运算
基本运算
- 并
- $A \cup B$:A和B至少有一个会发生
- 交
- $A \cap B$:A和B同时发生
- 差
- $A-B$:A发生,但B不发生
- 对立
- $\overline{A}$:即$\Omega - A$
运算性质
- 交换律
- 结合律
- 分配律
- 对偶律(德摩根公式)
- $\overline{A \cup B} = \overline{A} \cap \overline{B}$:并的对立等于对立的交
- $\overline{A \cap B} = \overline{A} \cup \overline{B}$:交的对立等于对立的并
概率
公理化表示
设$\Omega$为一个样本空间,$F$为$\Omega$的某些子集组成的一个事件域,对任意事件$A \in F$,有一个定义在$F$上的实值函数$P(A)$,满足:
- 非负
- $P(A) \ge 0$
- 正则
- $P(\Omega) = 1$
- 可列可加
- 若$A_1,A_2,A_3,...A_n$互不相容,则和的概率等于概率的和
则称$P(A)$为事件$A$的概率,$(\Omega, F, P)$为概率空间
排列
n中取r,考虑顺序
$$ P^r_n = \frac{n!}{(n-r)!}$$
全排列
$$ P_n = n!$$
- 注意,这里的P是方案数的意思
组合
n中取r,不考虑顺序
$$ C^r_n=\binom{n}{r}=\binom{n}{n-r}=\frac{n!}{r!(n-r)!}$$
并规定
$$ C^0_n=1$$
频率
-
$n(A)$:频数,n次重复实验中事件A出现的次数
-
$f_n(A)$:频率=频数/n
-
我们认为频率的稳定值就是概率
古典概率
通过样本数进行估计
$$ P(A)=\frac{事件A所含样本数}{\Omega 所含样本总数}$$
几何概率
通过面积、体积进行估计
$$ P(A)=\frac{S_A}{S_{\Omega}}$$
- 蒙特卡洛方法
概率的性质
- $P(\Omega)=1$
- $P(\empty)=0$
- 有限可加性:和的概率等于概率之和
- $P(\overline{A}) = 1-P(A)$
- 若$A\sub B$
- $P(B-A) = P(B)-P(A) =P(B) - P(AB)$
- $P(B) \ge P(A)$
- $P(A\cup B)=P(A)+P(B)-P(AB)$
条件概率
- 条件概率:在B发生的情况下,A发生的概率
$$ P(A|B) = \frac{P(AB)}{P(B)}$$
- 乘法公式
$$ P(A_1..A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1..A_n-1)$$
- 全概率公式
$$ P(A) = \sum^{n}_{i=1}P(B_i)P(A|B_i)$$
$$ P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B})$$
- 贝叶斯公式(用于计算后验概率)
$$ P(B|A)=\frac{P(B)P(A|B)}{P(B)P(A|B)+P(\overline{B})P(A|\overline{B})}$$
独立性
若$P(AB)=P(A)P(B)$,则称AB两事件相互独立
- 独立重复试验
二:随机变量及其分布
随机变量
定义在样本空间$\Omega$上的实值函数$X=X(\omega)$称为随机变量,$\omega$是样本点
- 当$\omega$变化时,$X$会变化,这东西更像一个函数,不要被“变量”给迷惑了
随机事件
随机事件是随机变量的集合
若$B$是某些实数组成的集合,$B\sub R$,则$\{X \in B\}$表示随机事件:
$$ \{\omega:X(\omega) \in B\} \sub \Omega$$
特别的,$\{X \in B\}$可以写成类似$\{X \le a \}$、$\{ a < X < b\}$
分布列
$$ p(x_i) = P(X=x_i) $$
| X | 0 | 1 | 2 | 3 |
|---|---|---|---|---|
| P | 1/2 | 1/4 | 1/8 | 1/8 |
分布函数
设$X$是一个连续随机变量,对于任意实数$x$,称
$$ F(x) = P(X \le x)$$
为随机变量$X$的分布函数,并称$X$服从$F(x)$,记为$X \sim F(x) $
-
$F(x)$定义域$(-\infty, \infty)$,值域$[0, 1]$
-
$F(x)$满足
- 单调非减
- 有界
- 右连续,即$F(x_0+0)=F(x_0)$
概率密度函数
设随机变量$X$的分布函数为$F(x)$,如果存在实数轴上一个非负可积函数$p(x)$,使得对任意实数$x$有
$$ F(x) = \int^x_{-\infty}p(t)\mathrm{d}t$$
则称$p(x)$为$X$的概率密度函数
在$F(x)$可导的点上,$F'(x)=p(x)$
- 非负性
- 正则性
期望
离散
对于离散随机变量$X$,其分布列为$p(x_i), i=1,2,3...n,...$
若级数不收敛,即
$$ \sum^n_{i=1}|x_i|p(x_i) < \infty$$
则称
$$ E(X) = \sum^{\infty}_{i = 1}x_i p(x_i)$$
为随机变量$X$、或者该分布的数学期望
连续
设连续随机变量$X$的概率密度函数为$p(x)$
若
$$ \int^{\infty}_{-\infty}|x|p(x)\mathrm{d}x < \infty$$
则称
$$ E(X) = \int^{\infty}_{-\infty}xp(x)\mathrm{d}x$$
为$X$的数学期望
- 数学期望的物理解释是重心
性质
$$ E[g(X)]=\sum_{i}g(x_i)p(x_i)$$
$$ E(c)=c$$
$$ E(aX)=aE(X)$$
$$ E[g_1(X) + g_2(X)]=E[g_1(X)]+E[g_2(X)]$$
方差
$$ Var(X)=E(X-E(X))^2$$
标准差
$$ \sigma(X) = \sqrt{Var(X)}$$
性质
$$ Var(X)=E(X^2)-[E(X)]^2$$
$$ Var(c) = 0$$
$$ Var(aX+b)=a^2Var(X)$$
切比雪夫不等式
出现大偏差的概率的上下界,与方差呈正比
$$ P(|X-E(X)| \ge \epsilon) \le \frac{Var(X)}{\epsilon^2}$$
若方差为0,则
$$ P(X=E(X))=1$$
常见分布
-
离散
-
二项分布
-
两点分布
-
泊松分布
-
超几何分布
-
-
连续
- 正态分布
- 均匀分布
- 指数分布
- 伽马分布
- 贝塔分布
三:多维随机变量及其分布
多维随机变量
如果$X_1(\omega),X_2(\omega),X_3(\omega)...X_n(\omega)$是定义在同一样本空间$\Omega = \{\omega\}$上的n个随机变量,则称
$$ X(\omega)=(X_1(\omega),X_2(\omega),X_3(\omega)...X_n(\omega))$$
为N维随机变量
- 必须为同一样本空间
N个小孩中,身高是一个随机变量,体重也是一个随机变量,(身高,体重)是一个二维随机变量
联合分布函数
$$ F(x_1, x_2,...,x_n)=P(X_1\le x_1, X_2 \le x_2, ..., X_n \le x_n)$$
为n维随机变量$(X_1, X_2, ...,X_n)$的联合分布函数
独立性
若
$$ F(x_1, x_2,...,x_n)=\prod^n_{i=1}F_i(x_i)$$
则称$X_1, X_2, ...,X_n$相互独立(充要条件)
- 简单说,独立的随机变量,联合概率密度可以直接相乘
期望
$$ E(Z)=\sum_i \sum_j g(x_i, y_j)P(X=x_i, Y=y_j)$$
$$ E(Z)=\int^{\infty}_{-\infty} \int^{\infty}_{-\infty} g(x,y)p(x,y)\mathrm{d}x\mathrm{d}y$$
重期望公式
$$ E(X)=E(E(X|Y))$$
边缘分布
边缘分布是指一个联合分布中,对其中一个随机变量的分布进行求和(或积分),从而得到该随机变量的单独分布
四:大数定律与中心极限定理
收敛性
- 依概率收敛:大数定律
- 按分布收敛:中心极限定理
依概率收敛
有的随机变量X的概率非常难求,如果可以找到一个简单的随机变量Y的分布来拟合X,可以大幅简化计算
设$\{X_n\}$为以随机变量序列,$X$为一随机变量,对任意$\varepsilon > 0$,有
$$ P(|X_n - X| \ge \varepsilon)\rightarrow 0 \ \ (n\rightarrow \infty)$$
则称序列$\{X_n\}$依概率收敛于X,记作$X_n \xrightarrow{P} X$
- 简单来说,就是概率集中在某个X处
弱收敛
若
$$ \lim_{n \rightarrow \infty}F_n(x)=F(x)$$
则称$\{F_n(x)\}$弱收敛于$F(x)$,记作$F_n(x) \xrightarrow{W} F(x)$
也称序列$\{X_n\}$按分布收敛于X,记作$X_n \xrightarrow{L} X$
- 依概率收敛比按分布收敛,收敛性更强
特征函数
设X是一个随机变量,称
$$ \varphi(t)=E(e^{itX})$$
为X的特征函数
- 任一随机变量的特征函数总是存在
大数定理
伯努利大数定理
$$ \lim_{n \rightarrow \infty}P(|\frac{S_n}{n} - p| < \varepsilon)=1$$
意义为:随着n次数的增多,频率会越来越接近概率(随机变量序列的算数平均 依概率收敛到 其均值的算数平均)
中心极限定理
在某些情况下,随机变量和 的分布函数收敛于正态分布