概率论与数理统计

原图

概率论基本概念

概率的派别

对于概率的定义有几个主流的派别：

• 频率派：
  频率派认为如果频率存在稳定性，即当$n\to\infty$时下面极限存在（下面这个写法只是示意，后面介绍大数定律的时候会给出严格的定义），就得到了概率（用 Probability 的首字母 P 来表示）：

  $$P（正面）=\lim_{n\to\infty}P_{n}（正面）$$

• 古典派：
  如果因为无知，使得我们没有办法判断哪一个结果会比另外一个结果更容易出现，那么应该给予它们相同的概率，此称为不充分理由原则（Insufficient Reason Principle）。以不充分理由原则为基础，经由拉普拉斯：之手，确立了古典概率的定义，即：
  未知的概率都为等概率

• 主观派：
  最后介绍下主观派，主观派认为概率是信念强度（degree of belief）。比如说，我个人相信 20 年后人类从网络时代进入人工智能时代的概率为 70%.

三个流派大概有以下的区别：

$$\begin{array}{c|c} \hline \quad\quad&\quad\color{orange}{频率派}\quad&\quad\color{blue}{古典派}\quad&\quad\color{ForestGreen}{主观派}\quad\\ \hline \\ \quad 理论基础 \quad&\quad 过往事实的归纳总结、quad&\quad 不充分理由原则、quad&\quad 知识和直觉、quad\\ \quad 概率定义 \quad&\quad 频率稳定性、quad&\quad 等概率、quad&\quad 信念强度、quad\\ \\\hline \end{array}$$

概率公理化

已知某样本空间$\Omega$，对于其中任一事件$A$，定义函数$P$，满足以下三大公理：

• 非负性公理：

  $$P(A)\ge 0$$

• 规范性公理：

  $$P(\Omega) = 1$$

• 可加性公理：
  设$A_1、A_2、\cdots$为两两不相容的事件，即$A_i\cap A_j=\varnothing（i\ne j）$，有：

  $$P(A_1\cup A_2\cup\cdots) = P(A_1)+P(A_2)+\cdots$$

则$P$称为概率函数，$P(A)$称为事件 A 的概率。

事件之间的运算和关系

• 并运算：
  对于事件$A、B$，并运算定义为（$\equiv$表示定义）：

  $$A\cup B\equiv\{x|x\in A\ 或 \ x\in B\}$$

• 交运算：
  对于事件$A、B$，交运算定义为：

  $$A\cap B\equiv\{x|x\in A\ 且 \ x\in B\}$$

• 差运算：
  对于事件$A、B$，定义差运算为：

  $$A-B\equiv\{x|x\in A\quad 且、quad x\notin B\}$$

• 补运算：
  对于事件 A、B，如果：

  $$A=\Omega-B$$

  则称 B 为 A 的补，记作（其中 c 代表 Complement）：

  $$B=\overline{A}\quad 或、quad B=A^c$$

• 基本运算的性质：

$$\begin{array}{c|c|c} \hline \quad\quad&\quad 类比、quad&\quad 改写 \quad\\ \hline \\ \quad 并 \quad&\quad +\quad&\quad A\cup B=A+B \quad\\ \quad 交 \quad&\quad \times\quad&\quad A\cap B=AB \quad\\ \quad 差 \quad&\quad -\quad&\quad A-B \quad\\ \\ \hline \end{array}$$

• 德摩根定律：

  $$\overline{A\cup B}=\overline{A}\cap\overline{B}$$

  \overline{A\cap B}=\overline{A}\cup\overline{B}

  $$$$

$$\begin{array}{c|c|c} \hline \quad\quad&\quad 定义、quad&\quad 类比、quad\\ \hline \\ \quad 并 \quad&\quad A\cup B=\{x|x\in A\ 或 \ x\in B\}\quad&\quad +\quad\\ \quad 交 \quad&\quad A\cap B=\{x|x\in A\ 且 \ x\in B\}\quad&\quad \times\quad\\ \quad 差 \quad&\quad A-B=\{x|x\in A\ 且、x\notin B\}\quad&\quad -\quad\\ \quad 补 \quad&\quad \overline{A}=B\iff B=\Omega - A\\ \\ \hline \end{array}$$

• 事件之间的关系：

事件之间的关系= \begin{cases} 包含、\ 相等、\ 不相容、\ 对立 \end{cases}

条件概率

设 A 和 B 是样本空间$\Omega$中的两事件，若$P(B) > 0$，则称：

$$P(A|B)=\frac{P(A\cap B)}{P(B)}$$

为“假设条件为 B 时的 A 的概率”，简称条件概率。也常写作：

$$P(A|B)=\frac{P(AB)}{P(B)}$$

乘法公式

• 若$P(B) > 0$，则：

  $$P(AB)=P(\color{Orange}{B})P(A|\color{Orange}{B})$$

• 若$P(A) > 0$，则：

  $$P(AB)=P(\color{Magenta}{A})P(B|\color{Magenta}{A})$$

• 若$P(A_1\cdots A_n) > 0$，则：

  $$P(A_1\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\cdots P(A_n|A_1\cdots A_{n-1})$$

63 4、 贝叶斯与全概率
对于同一样本空间$\Omega$中的随机事件$A、B$，若$P(B) \ne 0$，有：

$$P(A|B)=\frac{P(A)}{P(B)}P(B|A)$$

设$A_1、A_2、\cdots、A_n$满足：

$$A_i\cap A_j=\varnothing , (i\ne j)\quad 且、quad P(\bigcup_{i=1}^{n}A_i)=1$$

若$P(A_i) > 0,i=1,2,\cdots,n$，则对任意事件$B$有：

$$P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)$$

有了全概率公式后，可以得到贝叶斯定理真正的样子：
设$A_1、A_2、\cdots、A_n$为样本空间$\Omega$的一个分割，则有：

$$\begin{aligned} P(A_i|B) &=\frac{P(BA_i)}{P(B)}\\ \\ &=\frac{P(B|A_i)}{P(B)}P(A_i)\\ \\ &=\frac{P(B|A_i)}{\displaystyle\sum_{i=1}^{n}P(A_i)P(B|A_i)}P(A_i) \end{aligned}$$

也就是把$P(B)$分解到分割$A_1、A_2、\cdots、A_n$上去了。

独立事件

对于两个随机事件$A、B$，如果满足：

$$P(AB)=P(A)P(B)$$

则称 A 与 B 相互独立，或简称 A 与 B 独立，否则称 A 与 B 不独立或相依。

设$A_1、A_2、\cdots$为有限个或者无限个事件，从中任取两个$A_{i1}、A_{i2}$，若满足：

$$P(A_{i1}A_{i2})=P(A_{i1})P(A_{i2})$$

则称$A_1、A_2、\cdots$是两两独立。

若从中任取有限个$A_{j1}、A_{j2}、\cdots、A_{jm}$，若满足：

$$P(A_{j1}A_{j2}\cdots A_{jm})=P(A_{j1})P(A_{j2})\cdots P(A_{jm})$$

则称$A_1、A_2、\cdots$是相互独立。

随机变量及其分布

随机变量

定义在样本空间$\Omega$上的实值函数：

$$X=X(\omega),\quad \omega\in\Omega$$

称为随机变量。随机变量是一个函数，所以都用大写字母来表示，以示和自变量 x 的区别。

二项分布

概率质量函数

如果$p(x)$满足$（x\in \{x_i\},i=1,2,\cdots）$：

• 非负性：

  $$p(x_i) \ge 0$$

• 规范性：

  $$\sum_{i=1}^{\infty}p(x_i)=1$$

则称其为概率质量函数（PMF）。

伯努利分布

某样本空间只包含两个元素，$\Omega=\{\omega_1,\omega_2\}$，在其上定义随机变量$X$：

$$X=X(\omega)= \begin{cases} 1,&\omega=\omega_1\\ 0,&\omega=\omega_2 \end{cases}$$

若$0\le p\le 1$时，有：

$$p(1)=P(X=1)=p$$

$$p(0)=P(X=0)=1-p$$

或写作：

$$P(X=x)=p(x)= \begin{cases} p,&x=1\\ 1-p,&x=0 \end{cases}$$

则此概率分布称作 0-1 分布，也称作伯努利分布。

在数学中，类似于扔一次硬币这样的“是非题”称为一次伯努利试验，像上面这样独立地重复扔 n 次硬币（做同样的“是非题”n 次），就称为 n 重伯努利试验。

二项分布

对于 n 重伯努利实验，如果每次得到“是”的概率为 p，设随机变量：

$$X=得到“是”的次数$$

则称：

$$p(k)=P(X=k)={n\choose k}p^k(1-p)^{n-k},\quad k=0,1,\cdots,n$$

为随机变量 X 的二项分布，也可以记作：

$$X\sim b(n,p)$$

当 n=1 的时候，对应的就是伯努利分布，所以伯努利分布也可以记作$b(1,p)$。

离散的累积分布函数

设$X$是一个随机变量，$x$是任意实数，函数：

$$F(x)=P(X \le x)=\sum_{a\le x}p(a)$$

因为是把概率质量函数累加起来，所以称为累积分布函数（Cumulative Distribution Function，或者缩写为 CDF），也简称为分布函数。

离散的数学期望
设离散随机变量$X$的概率质量函数为：

$$p(x_i)=P(X=x_i),i=1,2,\cdots,n,\cdots$$

如果：

$$\sum_{i=1}^{\infty}|x_i|p(x_i) < \infty$$

则称：

$$E(X)=\sum_{i=1}^{\infty}x_ip(x_i)$$

为随机变量 X 的数学期望（expected value，或，expectation），简称期望或均值（mean），也有很多文档会用$\mu_X$来表示（如果不强调随机变量的话，也可以直接用$\mu$来表示）：

$$\mu_X=\mu=\sum_{i=1}^{\infty}x_ip(x_i)$$

若级数$\sum_{i=1}^{\infty}|x_i|p(x_i)$不收敛，则称$X$的数学期望不存在。

学期望也称作矩。更准确点说，由于数学期望：

$$E(X)=\sum_{i=1}^{\infty}x_ip(x_i)$$

中$x_i$是一次项，所以又称作一阶矩。这个称呼经常在统计的书上会遇到，特在此说明。

数学期望的性质

• 复合：
  假设$g(X)$为随机变量$X$的某一函数，则：

  $$E\left[g(X)\right]=\sum_i g(x_i)p(x_i)$$

• 常数：
  若 c 为常数，则：

  $$E(c)=c$$

• 线性组合：
  数学期望满足：

  • 齐次性，对于任意常数$a$有：

  $$E(aX)=aE(X)$$

  • 可加性，对于随机变量的函数$g_1(X)、g_2(X)$有：

  $$E\left[g_1(X)+g_2(X)\right]=E\left[g_1(X)\right]+E\left[g_2(X)\right]$$

• 伯努利分布和二项分布的期望分别如下：

$$\begin{array}{c|c} &\qquad 伯努利分布、qquad&\qquad 二项分布、qquad\\ \hline\\ \ PMF\ & p(x)=\begin{cases}p,&x=1\\1-p,&x=0\end{cases} & p(x)={n\choose x}p^x(1-p)^{n-x}\\\\ \hline \\ \quad \mu\quad& p & np \\ \end{array}$$

方差与标准差

方差

代数式：

$$Var(X)=E\left[\Big(X-E(X)\Big)^2\right]$$

称为随机变量 X 的方差（Variance），也可记作$\sigma^2$或者$\sigma_X^2$。

方差的性质

• 化简：
  可以通过下式来化简运算：

  $$Var(X)=E\left(X^2\right)-\mu^2$$

• 常数：
  若 c 为常数，则：

  $$Var(c)=0$$

• 相加与数乘：
  若 a、b 为常数，则：

  $$Var(aX+b)=a^2Var(X)$$

标准差

假如随机变量$X$的方差为$Var(X)$，则称：

$$\sigma(X)=\sqrt{Var(X)}$$

为标准差，也可以记作$\sigma$或者$\sigma_X$。

二项分布的方差

$$\begin{array}{c|c} &\qquad 伯努利分布、qquad&\qquad 二项分布、qquad\\ \hline \\ \ PMF\ & p(x)=\begin{cases}p,&x=1\\1-p,&x=0\end{cases} & p(x)={n\choose x}p^x(1-p)^{n-x}\\ \\ \hline \\ \quad \mu\quad& p & np \\ \\ \hline \\ \quad Var(X)\quad& p(1-p) & np(1-p) \\ \\ \end{array}$$

马尔可夫不等式

设$X$为取非负值的随机变量，则对于任何$a > 0$，有：

$$P(X\ge a)\le \frac{E(X)}{a}$$

切比雪夫不等式

设$X$是一随机变量，均值$\mu$和方差$\sigma^2$有限，则对任何$k > 0$有：

$$P(|X-\mu| \ge k)\le \frac{\sigma^2}{k^2}$$

泊松分布

对于随机变量$X$的概率质量函数：

$$P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2,\cdots$$

称为随机变量$X$的泊松分布，也可以记为：

$$X\sim P(\lambda)$$

其数学期望和方差为：

$$E(X)=\lambda,\quad Var(X)=\lambda$$

条件
更一般地，在某一段时间 T 内发生特定事件的次数，如果满足以下假设，都可以看作泊松分布：

• 平稳性：在此时间段 T 内，此事件发生的概率相同（在实际应用中大致相同就可以了）。
• 独立性：事件的发生彼此之间独立（或者说，关联性很弱）。
• 普通性：把 T 切分成足够小的区间、Delta T，在、Delta T 内恰好发生两个、或多个事件的可能性为 0（或者说，几乎为 0）。

泊松分布是二项分布的极限：

$$\lim_{n\to\infty}{n\choose k}\left(\frac{\mu}{n}\right)^k\left(1-\frac{\mu}{n}\right)^{n-k}=\frac{\mu^k}{k!}e^{-\mu}$$

所以在泊松分布的$\lambda$固定的情况，二项分布的 n 越大（对应的$p=\frac{\lambda}{n}$越小），此时两者会非常接近。

重要的离散分部

几何分布

对于 n 重伯努利实验，如果每次得到“是”的概率为 p，设随机变量：

$$X=首次得到“是”时进行的试验次数$$

则称：

$$p(k)=P(X=k)=(1-p)^{k-1}p,\quad k=1,2,\cdots$$

为随机变量 X 的几何分布，也可以记作：

$$X\sim Ge(p)$$

其数学期望和方差为：

$$E(X)=\frac{1}{p},\quad Var(X)=\frac{1-p}{p^2}$$

负二项分布

对于 n 重伯努利实验，如果每次得到“是”的概率为 p，设随机变量：

$$X=第 r 次“是”发生时的实验次数$$

则称：

$$p(k)=P(X=k)={k-1\choose r-1}p^r(1-p)^{k-r},k=r,r+1,\cdots$$

为随机变量 X 的负二项分布，也称为帕斯卡分布，也可以记作：

$$X\sim Nb(r,p)$$

其数学期望为：

$$E(X)=\frac{r}{p},\quad Var(X)=\frac{r(1-p)}{p^2}$$

负二项分布与几何分布

• 几何是负二项的特例 ：
  负二项分布是这样的：

  $$p(k)=P(X=k)={k-1\choose r-1}p^r(1-p)^{k-r},k=r,r+1,\cdots$$

  r=1 的时候，就得到了几何分布：

  $$p(k)=P(X=k)=(1-p)^{k-1}p,\quad k=1,2,\cdots$$

• 负二项是几何的和：
  参数为 r、p 的负二项分布可以表示为如下事件序列：
  
  图中所示的每一段$X_1、X_2、\cdots、X_r$都是几何分布，所以有：

  $$X=X_1+X_2+\cdots+X_r\sim Nb(r,p)$$

  所以负二项分布的期望为：

  $$E(X)=E(X_1)+E(X_2)+\cdots+E(X_r)=\frac{r}{p}$$

超几何分布

设有 N 件产品，其中有 M 件不合格品，随机抽取 n 件产品，则其中含有 m 件不合格产品的概率为多少？
假设随机变量：

$$X=随机抽取的 n 件中有 m 件不合格品$$

这个随机变量的概率可以用古典概率来求，首先，样本空间就是从 N 件中随便抽取 n 件，所以：

$$|\Omega| = {N\choose n}$$

然后有 m 件从不合格品中抽取，剩下的在合格品中抽取，则有：

$$|X| = {M\choose m}{N-M\choose n-m}$$

所求概率即为：

$$P(X=m)=\frac{\left(\begin{array}{c} M \\ m \end{array}\right)\left(\begin{array}{c} N-M \\ n-m \end{array}\right)}{\left(\begin{array}{c} N \\ n \end{array}\right)}, m=0,1, \cdots, r$$

其中$r=min(M,n)$。此时称 X 服从超几何分布，可以记作：

$$X\sim h(n,N,M)$$

其数学期望和方差为：

$$E(X)=n\frac{M}{N},\quad Var(X)=n\frac{M}{N}\left(1-\frac{M}{N}\right)\left(1-\frac{n-1}{N-1}\right)$$

超几何分布与二项分布

超几何分布与二项分布类似，都是求抽取 n 次其中有 m 次“是”的概率，只是：

• 二项分布：相当于抽取之后放回。
• 超几何分布：抽取之后不放回。

所以在超几何分布中，如果被抽取的总数 N 特别大，那么放回不放回区别也就不大了，此时，那么超几何分布可以近似看作二项分布。
这点从两者的期望、方差也可以看出来：

$$\begin{array}{c|c} &\qquad 二项分布、qquad&\qquad 超几何分布、qquad\\ \hline \\ \quad \mu\quad& np & n\frac{M}{N} \\ \\ \hline \\ \quad \sigma^2\quad& np(1-p) & n\frac{M}{N}\left(1-\frac{M}{N}\right)\left(1-\frac{n-1}{N-1}\right)\\ \\ \end{array}$$

令$p=\frac{M}{N}$，超几何分布的期望和方差可以写作：

$$\mu=n\frac{M}{N}=np$$

\sigma^2=n\frac{M}{N}\left(1-\frac{M}{N}\right)\left(1-\frac{n-1}{N-1}\right)=np(1-p)\left(1-\frac{n-1}{N-1}\right)

对超几何分布而言，当 N 足够大的时候，$\frac{M}{N}$可看作取出不合格产品的概率，那此时超几何分布可看作二项分布。 ### 总结

\begin{array}{c|c}
\hline
\
\quad 伯努利分布、quad&\quad 抛硬币，二选一 \quad\
\quad 二项分布、quad&\quad n 重伯努利，出现 k 次“是” \quad\
\quad 泊松分布、quad&\quad 二项分布的极限 \quad\
\quad 几何分布、quad&\quad n 重伯努利，第 k 次首次出现“是” \quad\
\quad 负二项分布、quad&\quad 几何分布的和 \quad\
\quad 超几何分布、quad&\quad 不放回抽样的二项分布 \quad\
\
\hline
\end{array}

## 概率密度函数 ### 概率密度函数 如果函数$p(x)$满足下列两个条件（对应了概率的三大公理）： - 非负性：

p(x) \ge 0
$$

• 规范性（暗含了可加性），因为是连续的，所以通过积分相加：

  $$\int_{-\infty}^{+\infty}p(x)\mathrm{d}x=1$$

则称其为概率密度函数（Probability Density Function，简写为 PDF）。

期望

离散随机变量的期望定义为：

$$E(X)=\sum_{i=1}^{\infty}x_ip(x_i)$$

可以用类似的方法定义连续随机变量的期望，当然期望的意义是没有改变的：

$$E(X)=\int_{-\infty}^{+\infty}xp(x)\mathrm{d}x$$

关于期望的几个性质也是成立的：

• 复合：
  假设$g(X)$为连续随机变量$X$的某一函数，则：

  $$E\left[g(X)\right]=\int_{-\infty}^{+\infty}g(x)p(x)\mathrm{d}x$$

• 常数：
  若 c 为常数，则：

  $$E(c)=c$$

• 线性：
  数学期望满足：

  • 齐次性，对于任意常数 a 有：

  $$E(aX)=aE(X)$$

  • 可加性，对于任意两个函数$g_1(X)、g_2(X)$有：

  $$E\left[g_1(X)+g_2(X)\right]=E\left[g_1(X)\right]+E\left[g_2(X)\right]$$

方差

方差的定义依然是：

$$Var(X)=E\left[\Big(X-E(X)\Big)^2\right]$$

相关的性质也是成立的：

• 化简：
  可以通过下式来化简运算：

  $$Var(X)=E\left(X^2\right)-\mu^2$$

• 常数：
  若 c 为常数，则：

  $$Var(c)=0$$

• 相加与数乘：
  若 a、b 为常数，则：

  $$Var(aX+b)=a^2Var(X)$$

累积分布函数

连续随机变量$X$的概率密度函数为$p(x)$，则：

$$F(x)=P(X \le x)=\int_{-\infty}^{x}p(t)\mathrm{d}t$$

称为$X$的累积分布函数。

正态分布

正态分布

如果连续随机变量$X$的概率密度函数为：

$$p(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\quad -\infty < x < +\infty$$

则称$X$服从正态分布（normal distribution），也称作高斯分布（Gaussian distribution），记作$X\sim N(\mu,\sigma^2)$，其累积分布函数为：

$$F(x)=\frac{1}{\sigma\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{(t-\mu)^2}{2\sigma^2}}\mathrm{d}t$$

我们称$\mu=0、\sigma=1$时的正态分布$N(0,1)$为标准正态分布。

期望与方差

正态分布$X\sim N(\mu,\sigma^2)$的期望和方差为：

$$E(X)=\mu,\quad Var(X)=\sigma^2$$

指数分布

若随机变量$X$的概率密度函数为：

$$p(x)=\begin{cases} \lambda e^{-\lambda x}, & x \ge 0\\ 0,& x < 0 \end{cases}$$

其中$\lambda > 0$，称$X$服从指数分布，也可以记为：

$$X\sim Exp(\lambda)$$

累积分布函数为：

$$F(x)=\begin{cases} 1-e^{-\lambda x}, & x \ge 0\\ 0,& x < 0 \end{cases}$$

指数分布$X\sim Exp(\lambda)$的期望和方差为：

$$E(X)=\frac{1}{\lambda},\quad Var(X)=\frac{1}{\lambda^2}$$

总结

首先是一维离散随机变量的概率分布：

$$\begin{array}{c|c} \hline \\ \quad 伯努利分布、quad&\quad 抛硬币，二选一 \quad\\ \quad 二项分布、quad&\quad n 重伯努利，出现 k 次“是” \quad\\ \quad 泊松分布、quad&\quad 二项分布的极限 \quad\\ \quad 几何分布、quad&\quad n 重伯努利，第 k 次首次出现“是” \quad\\ \quad 负二项分布、quad&\quad 几何分布的和 \quad\\ \quad 超几何分布、quad&\quad 不放回抽样的二项分布 \quad\\ \\ \hline \end{array}$$

然后是一维连续随机变量的概率分布：

$$\begin{array}{c|c} \hline \\ \quad 均匀分布、quad&\quad 古典派中的几何概型 \quad\\ \quad 正态分布、quad&\quad 二项分布的另外一种极限 \quad\\ \quad 指数分布、quad&\quad 泊松分布的间隔，连续的几何分布 \quad\\ \\ \hline \end{array}$$

多维随机变量及其分布

多维随机变量及其分布

联合概率质量函数

如果二维随机向量$(X,Y)$所有可能的取值为$(x_i,y_j),i,j=1,2,\cdots$，这两个随机变量同时发生的概率可以用函数表示如下：

$$p_{ij}=P(X=x_i,Y=y_j)=P(X=x_i\ \color{red}{且}\ Y=y_j),\quad i,j=1,2,\cdots$$

且此函数满足如下性质（即概率的三大公理）：

• 非负性：

  $$p_{ij}\ge 0$$

• 规范性和可加性：

  $$\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}p_{ij}=1$$

则称此函数为$(X,Y)$的联合概率质量函数（Joint Probability Mass Function），或者称为联合分布列，此定义可以推广到多维离散随机变量上去。

联合概率密度函数

对于某二维随机变量$(X,Y)$存在二元函数$p(x,y)$满足：

• 非负性：

  $$p(x,y)\ge 0$$

• 规范性和可加性（连续的都通过积分来相加）：

  $$\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}p(x,y)\mathrm{d}x\mathrm{d}y=1$$

则称此函数为$(X,Y)$的联合概率密度函数（Joint Probability Density Function），此定义可以推广到多维连续随机变量上去。

联合累积分布函数

设$(X,Y)$是二维随机变量，对于任意实数$x、y$，可以定义一个二元函数来表示两个事件同时发生的概率：

$$F(x,y)=P\Big(\{X\le x\}\ \color{red}{且}\ \{Y\le y\}\Big)=P(X\le x, Y\le y)$$

称为二维随机变量$(X,Y)$的联合累积分布函数（Joint Cumulative Distribution Function），如果混合偏导存在的话，那么：

$$\frac{\partial F(x,y)}{\partial x \partial y}=p(x,y)$$

得到$p(x,y)$就是此分布的概率密度函数。此定义和性质可以推广到多维随机变量。

多维均匀分布

设$D$为$R^n$中的一个有界区域，其度量（直线为长度，平面为面积，空间为体积等）为$S_D$，如果多维随机变量$(X_1,X_2,\cdots,X_n)$的联合概率密度函数为：

$$p(x_1,x_2,\cdots,x_n)= \begin{cases} \frac{1}{S_D},&(x_1,x_2,\cdots,x_n)\in D\\ 0,&其它 \end{cases}$$

则称$(X_1,X_2,\cdots,X_n)$服从$D$上的多维均匀分布，记作：

$$(X_1,X_2,\cdots,X_n)\sim U(D)$$

边缘分布与随机变量的独立性

边缘概率质量函数

如果二维离散随机变量$(X,Y)$的联合概率质量函数为：

$$P(X=x_i,Y=y_j),i,j=1,2,\cdots$$

对$j$求和所得的函数：

$$\sum_{j=1}^{\infty}P(X=x_i,Y=y_j)=P(X=x_i)$$

称为$X$的边缘概率质量函数（Marginal Probability Mass Function），或者称为边缘分布列。类似的对 i 求和所得的函数：

$$\sum_{i=1}^{\infty}P(X=x_i,Y=y_j)=P(Y=y_j)$$

称为$Y$的边缘概率质量函数。

边缘概率密度函数

如果二维连续随机变量$(X,Y)$的联合概率密度函数为$p(x,y)$，则：

$$p_X(x)=\int_{-\infty}^{+\infty}p(x,y)\mathrm{d}y$$

称为$X$的边缘概率密度函数（Marginal Probability Density Function）。类似的：

$$p_Y(y)=\int_{-\infty}^{+\infty}p(x,y)\mathrm{d}x$$

称为 Y 的边缘概率密度函数。

边缘累积分布函数

如果二维连续随机变量$(X,Y)$的联合累积分布函数为$F(x,y)$，如下可以得到$X$的累积分布函数：

$$F_X(x)=\lim_{y\to+\infty}F(x,y)=P(X\le x,Y < +\infty)=P(X\le x)$$

称为$X$的边缘累积分布函数（Marginal Cumulative Distribution Function）。可记作：

$$F_X(x)=F(x,+\infty)$$

同理可以得到 Y 的边缘累积分布函数：

$$F_Y(y)=F(+\infty, y)$$

条件分布

离散的条件分布

设$(X,Y)$是二维离散型随机变量，对于固定的$j$，若$P(Y=y_j)\ge 0$，则称：

$$P\left(X=x_{i} | Y=y_{j}\right)=\frac{P\left(X=x_{i}, Y=y_{j}\right)}{P\left(Y=y_{j}\right)}, i=1,2, \cdots$$

为$Y=y_j$条件下的随机变量$X$的条件概率质量函数。同样的对于固定的$i$，若$P(X=x_i)\ge 0$，则称：

$$P\left(Y=y_{j} | X=x_{i}\right)=\frac{P\left(X=x_{i}, Y=y_{j}\right)}{P\left(X=x_{i}\right)}, j=1,2, \cdots$$

为$X=x_i$条件下的随机变量$Y$的条件概率质量函数。

条件分布和条件概率没有什么区别，一样可以用于全概率公式、贝叶斯公式。

连续的条件分布

设二维连续型随机变量$(X,Y)$的概率密度函数为$p(x,y)$，若对于固定的$y$有边缘概率密度函数$p_Y(y) > 0$，则：

$$p_{X|Y}(x\ |\ y)=\frac{p(x,y)}{p_Y(y)}$$

为$Y=y$条件下的随机变量$X$的条件概率密度函数。对应的条件累积分布函数为：

$$F_{X|Y}(x\ |\ y)=\int_{-\infty}^{x}\frac{p(u,y)}{p_Y(y)}\mathrm{d}u$$

同样的道理，以$X=x$为条件有：

$$p_{Y|X}(y\ |\ x)=\frac{p(x,y)}{p_X(x)}$$

F_{Y|X}(y\ |\ x)=\int_{-\infty}^{y}\frac{p(x,u)}{p_X(x)}\mathrm{d}u

### 连续的全概率和贝叶斯 - 全概率：

p_{Y}(y)=\int_{-\infty}^{+\infty} p(y | x) p_{X}(x) \mathrm{d} x
$$
p_{X}(x)=\int_{-\infty}^{+\infty} p(x | y) p_{Y}(y) \mathrm{d} y
$$

• 贝叶斯：

$$\begin{aligned} p(x | y) &=\frac{p(y | x) p_{X}(x)}{p_{Y}(y)} \\ &=\frac{p(y | x) p_{X}(x)}{\int_{-\infty}^{+\infty} p(y | x) p_{X}(x) \mathrm{d} x} \end{aligned}$$

多维随机变量函数的分布

随机变量的和

• 离散：
  设 X、Y 为两个相互独立的离散随机变量，取值范围为$0，1，2，\cdots$，则其和的概率质量函数为：

  $$P(X+Y=k)=\sum_{i=0}^{k}P(X=i)P(Y=k-i)$$

  这个概率等式称为离散场合下的卷积公式。

• 连续：
  设$(X,Y)$为二维连续型随机变量，概率密度函数为$p(x,y)$，则$Z=X+Y$仍为连续型随机变量，其概率密度为：

  $$p_{X+Y}(z)=\int_{-\infty}^{+\infty}p(z-y,y)\mathrm{d}y=\int_{-\infty}^{+\infty}p(x,z-x)\mathrm{d}x$$

  若$X、Y$为相互独立，其边缘密度函数分别为$p_X(x)$和$p_Y(y)$，则其和$Z=X+Y$的概率密度函数为：

  $$p_Z(z)=\int_{-\infty}^{+\infty}p_X(z-y)p_Y(y)\mathrm{d}y=\int_{-\infty}^{+\infty}p_X(x)p_Y(z-x)\mathrm{d}x$$

  上面两个概率等式称为连续场合下的卷积公式。

随机变量的数字特征

数学期望

数学期望的定义

离散随机变量的数学期望定义为：

$$E(X)=\sum_{i=1}^{\infty}x_ip(x_i)$$

连续随机变量的数学期望定义为：

$$E(X)=\int_{-\infty}^{+\infty}xp(x)\mathrm{d}x$$

函数的数学期望

• 一维随机变量：
  设$Y$是随机变量$X$的函数$Y=g(X)$(g 是连续函数）。

  • 若$X$为离散随机变量，则（设下式中的级数绝对收敛）：

  $$E(Y)=E\left[g(X)\right]=\sum_i g(x_i)p(x_i)$$

  • 若$X$为连续随机变量，则（设下式中的积分绝对收敛）：

  $$E(Y)=E\left[g(X)\right]=\int_{-\infty}^{+\infty}g(x)p(x)\mathrm{d}x$$

• 多维随机变量：
  设$Z$是随机变量$(X,Y)$的函数$Z=g(X,Y)$(g 是连续函数）。

  • 若$(X,Y)$为离散随机变量，则（设下式中的级数绝对收敛）：

  $$E(Z)=E\left[g(X,Y)\right]=\sum_j\sum_i g(x_i,y_j)p(x_i,y_j)$$

  • 若$(X,Y)$为连续随机变量，则（设下式中的积分绝对收敛）：

  $$E(Z)=E\left[g(X,Y)\right]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)p(x,y)\mathrm{d}x\mathrm{d}y$$

线性的数学期望

数学期望满足：

• 齐次性，对于任意常数 a 有：

  $$E(aX)=aE(X)$$

• 可加性，对于任意两个函数$g_1(X)、g_2(X)$有：

  $$E\left[g_1(X)+g_2(X)\right]=E\left[g_1(X)\right]+E\left[g_2(X)\right]$$

对于多维也成立：

$$E(X+Y)=E(X)+E(Y)$$

E(X_1+X_2+\cdots+X_n)=E(X_1)+E(X_2)+\cdots+E(X_n)

### 施瓦茨不等式 对任意随机变量$X$与$Y$都有：

\Big[E(XY)\Big]^2 \le E(X^2)E(Y2)

### 独立的数学期望 设$(X,Y)$为二维独立随机变量，则有：

E(XY)=E(X)E(Y)

$$这个结论可以推广到 n 维独立随机变量：$$

E\left(X_{1} X_{2} \cdots X_{n}\right)=E\left(X_{1}\right) E\left(X_{2}\right) \cdots E\left(X_{n}\right)

## 方差与标准差 ### 方差与标准差的定义 方差定义为（因为直接通过数学期望定义的，所以没有区分离散和连续）：

Var(X)=E\left[\Big(X-E(X)\Big)^2\right]

为了写的简单一点，也常常令$E(X)=\mu$，那么上式可以改写为：

Var(X)=E\left[(X-\mu)^2\right]

$$之前也介绍过，由于方差里面含有平方，在实际应用中需要开平方才能保持单位一致，这就是标准差：$$

\sigma(X)=\sqrt{Var(X)}

### 线性的方差 若$a、b$为常数，则：

Var(aX+b)=a^2Var(X)

### 独立的方差 设$(X,Y)$为二维独立随机变量，则有：

Var(X\pm Y)=Var(X)+Var(Y)

$$这个结论可以推广到 n 维独立随机变量：$$

Var\left(X_{1}\pm X_{2}\pm \cdots\pm X_{n}\right)=Var\left(X_{1}\right) +Var\left(X_{2}\right)+\cdots+Var\left(X_{n}\right)

## 协方差 ### 协方差的定义 设$(X,Y)$是一个二维随机变量，若$E\Big[(X-\mu_X)(Y-\mu_Y)\Big]$存在，则称此数学期望为$X$与$Y$的协方差（Covariance），记作：

Cov(X,Y)=E\Big[(X-\mu_X)(Y-\mu_Y)\Big]

特别地有$Cov(X,X)=Var(X)$。 很显然会有： - $Cov(X,Y) > 0$时，$X、Y$正相关，即两者有同时增加或者减少的倾向。 - $Cov(X,Y) < 0$时，$X、Y$负相关，即两者有反向增加或者减少的倾向。 - $Cov(X,Y) = 0$时，$X、Y$不相关，不过和独立还是有区别的，这点我们后面再论述。 ### 协方差的性质 - 化简： 可以通过下式来化简运算：

Cov(X,Y)=E(XY)-E(X)E(Y)
$$
据此马上可以得到一个推论：
$$
Cov(X,Y)=Cov(Y,X)
$$

• 方差：
  对于任意的二维随机变量$(X,Y)$有：

  $$Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)$$

  Var(X-Y)=Var(X)+Var(Y)-2Cov(X,Y)

  所以当$(X,Y)$为二维不相关随机变量时，有：

  Var(X\pm Y)=Var(X)+Var(Y)

  $$$$

  $$Cov(X_1+X_2,Y)=Cov(X_1, Y)+Cov(X_2,Y)$$

• 数乘：

  $$Cov(aX+c,bY+d)=abCov(X, Y)$$

独立与不相关

• 独立必不相关：
  根据刚才的性质：

  $$Cov(X,Y)=E(XY)-E(X)E(Y)$$

  如果 X、Y 独立，则有：

  $$E(XY)=E(X)E(Y)\implies Cov(X,Y)=0$$

  所以：

  $$独立、implies 不相关$$

• 不相关不能推出独立：
  不相关只能说明 X、Y 之间没有正相关规律，也没有负相关规律，但可能还有很多别的规律，所以：

  $$不相关、\mathrel{\rlap{\hskip .5em/}}\Longrightarrow\ 独立$$

相关系数

对于二维随机变量$(X,Y)$，各自的方差为：

$$Var(X)=\sigma^2_X,\quad Var(Y)=\sigma^2_Y$$

则：

$$\rho_{XY}=\frac{Cov(X,Y)}{\sigma_X\sigma_Y}$$

称为随机变量$X$和$Y$的相关系数。

对于任意的二维随机变量$(X,Y)$，若相关系数存在，则：

$$-1\le\rho_{XY}\le 1$$

有界性让比较有了一个范围，我们可以得到如下结论：

• $\rho > 0$：正相关，且$\rho=1$的时候，正相关性最大，称为完全正相关。
• $\rho < 0$：负相关，且$\rho=-1$的时候，负相关性最大，称为完全负相关。
• $\rho = 0$：不相关。

二维正态分布

如果二维随机变量$(X,Y)$的联合概率密度函数为：

$$\begin{aligned} p(x, y)= & \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left\{-\frac{1}{2\left(1-\rho^{2}\right)}\left[\frac{\left(x-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}\right.\right.\\ &-\frac{2 \rho\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}} ] \} \end{aligned}$$

则称$(X,Y)$服从二维正态分布，记作：

$$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$$

它含有五个参数$\mu_1，\mu_2，\sigma_1^2，\sigma_2^2$和$\rho$，取值范围分别为：

$$-\infty<\mu_{1}<\infty,-\infty<\mu_{2}<\infty, \sigma_{1}>0, \sigma_{2}>0,-1 \leqslant \rho \leqslant 1$$

并且$\mu_1，\mu_2$分别是$X、Y$的期望；$\sigma_1^2，\sigma_2^2$分别是$X、Y$的方差；$\rho$是$X、Y$的相关系数。

大数定律及中心极限定理

大数定律

伯努利大数定律

整个概率论的得以存在的基础是，其所研究的随机现象虽然结果不确定，但又有规律可循。这个基础在概率论中被称为大数定律（Law of large numbers）。大数定律是一系列的定律，先来介绍伯努利大数定律：

设$n_A$是$n$次重复独立实验中事件$A$发生的次数，$p$是事件$A$在每次实验中发生的概率，则对于任意正数$\epsilon > 0$，有：

$$\lim_{n\to \infty}P\left(\left|\frac{n_\text{A}}{n}-p\right| < \epsilon \right) = 1$$

或：

$$\lim_{n\to \infty}P\left(\left|\frac{n_\text{A}}{n}-p\right| \ge \epsilon \right) = 0$$

这里需要注意不能直接用：

$$\lim_{n\to \infty}\frac{n_\text{H}}{n}=p$$

而必须在外面套上一个概率函数，$\frac{n_\text{H}}{n}$并不是一个数列，而是随机变量。因此它不具备进行极限运算的前提。

依概率收敛

因为$\frac{n_\text{H}}{n}$是随机变量，所以要表示它和$p$接近，只能表示为事件：

$$“频率 P_n 越来越接近概率 p”=\Big\{\left|\frac{n_\text{H}}{n}-p\right| < \epsilon\Big\}$$

然后套上概率函数$P$，对该函数求$n$趋于无穷时的极限：

$$\lim_{n\to \infty}P\left(\left|\frac{n_\text{H}}{n}-p\right| < \epsilon \right) = 1$$

这个极限同样表达了“随着$n$的增大，频率$P_n$会越来越接近概率$p$”的意思，但是因为套上了概率函数，所以也称为$P_n$依概率收敛于$p$，记作：

$$\frac{n_\text{H}}{n}\xrightarrow{\quad P \quad}p,\quad n\to\infty$$

辛钦大数定律

伯努利大数定律局限于伯努利分布，下面介绍辛钦大数定律就没有这个限制，只是要求遵循相同的分布：
设有随机变量：

$$X_1,X_2,\cdots,X_n$$

这些随机变量相互独立，服从同一分布，且具有相同的数学期望：

$$E(X_i)=\mu,\quad i=1,2,\cdots,n$$

令：

$$\overline{X}=\frac{X_1+X_2+\cdots+X_n}{n}$$

则对于任意$\epsilon > 0$有：

$$\lim_{n\to \infty}P\left(\left|\overline{X}-\mu\right| < \epsilon \right) = 1$$

或：

$$\lim_{n\to \infty}P\left(\left|\overline{X}-\mu\right| \ge \epsilon \right) = 0$$

也可以表述为：

$$\overline{X}\xrightarrow{\quad P \quad}\mu,\quad n\to\infty$$

切比雪夫大数定律

相同的分布也算比较严格的限制，下面介绍切比雪夫大数定律对于分布就更加宽松，只要各自的方差有共同上界即可：
设有随机变量：

$$X_1,X_2,\cdots,X_n$$

这些随机变量两两不相关，若每个随机变量$X_i$的方差存在，且有共同的上界，即：

$$Var(X_i)\le c,\quad i=1,2,\cdots,n$$

令：

$$\overline{X}=\frac{X_1+X_2+\cdots+X_n}{n},\quad \mu=E(\overline{X})$$

则对于任意$\epsilon > 0$有：

$$\lim_{n\to \infty}P\left(\left|\overline{X}-\mu\right| < \epsilon \right) = 1$$

或：

$$\lim_{n\to \infty}P\left(\left|\overline{X}-\mu\right| \ge \epsilon \right) = 0$$

也可以表述为：

$$\overline{X}\xrightarrow{\quad P \quad}\mu,\quad n\to\infty$$

总结

这里总共介绍了三个大数定律，主要区别如下：

\begin{array}{c|c} \hline \quad \quad &\quad 分布、quad&\quad 独立性、quad&\quad 方差、quad\\ \hline \\ \quad 伯努利大数、quad & \quad 伯努利分布、quad & \quad 独立、quad & \quad 无要求、quad\\ 辛钦大数 & 同分布 & 独立 & 无要求 \\ 切比雪夫大数 & 无要求 & 不相关 & 同上界、\ \\ \hline \end{array}

强大数定律

前面介绍的大数定律又称为弱大数定律（Weak Law of large numbers），有弱就自然就有强，下面就来介绍强大数定律（Strong Law of large numbers）：
设有随机变量：

$$X_1,X_2,\cdots,X_n$$

这些随机变量相互独立，服从同一分布，且具有相同的数学期望：

$$E(X_i)=\mu,\quad i=1,2,\cdots,n$$

令：

$$\overline{X}=\frac{X_1+X_2+\cdots+X_n}{n}$$

则对于任意$\epsilon > 0$有：

$$P\left(\lim_{n\to \infty}\left|\overline{X}-\mu\right| < \epsilon \right) = 1$$

或：

$$P\left(\lim_{n\to \infty}\left|\overline{X}-\mu\right| \ge \epsilon \right) = 0$$

这个强大数定律和之前的辛钦大数定律非常接近：

• 弱大数定律（辛钦大数定律），极限符号在 P 函数外面：

$$\lim_{n\to \infty}P\left(\left|\overline{X}-\mu\right| < \epsilon \right) = 1$$

• 强大数定律，极限符号在 P 函数里面：

$$P\left(\lim_{n\to \infty}\left|\overline{X}-\mu\right| < \epsilon \right) = 1$$

仔细体会这两则之间的区别^ _ ^。

中心极限定理

棣莫弗-拉普拉斯定理

设随机变量$X\sim b(n,p)$，则对任意 x 有：

$$\lim_{n\to\infty}P\left(\frac{X-np}{\sqrt{np(1-p)}}\le x\right)=\Phi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}\mathrm{d}t$$

林德伯格-莱维定理

设随机变量：

$$X_i,\quad i=1,2,\cdots,n$$

相互独立，服从同一分布，且有相同的数学期望和方差：

$$E(X_i)=\mu,\quad Var(X_i)=\sigma^2$$

则随机变量：

$$Y=\frac{X_1+X_2+\cdots+X_n-n\mu}{\sigma\sqrt{n}}$$

对于任意实数$y$有：

$$\lim_{n\to\infty}F_Y(y)=\lim_{n\to\infty}P(Y\le y)=\Phi(y)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{y}e^{-\frac{t^2}{2}}\mathrm{d}t$$

参考文献

《马同学的概率论与数理统计》
感兴趣的可以购买他的课程，写的很好（强烈推荐）！！！

[[ANovelCameraPathPlanningAlgorithmForRealTimeVideoStabilization]]
[[DigitalVideoStabilizationAndRollingShutterCorrectionUsingGyroscope]]
[[GyroscopeBasedNonlinearFilterForVideoStabilization]]
[[HybridMotionEstimationForVideoStabilizationBasedOnIMUSensor]]
[[NonlinearAnalysisAndControlOf3DInvertedPendulumBasedOnCounterwheelAction]]
[[ProbabilityTheoryandMathematicalStatistics]]