Definition 1.1 设随机变量$X$只可能取$0$与$1$两个值，它的分布律是 $$P(X=k)=p^k{q}^{1-k},k=0,1;p+q=1(0<p<1)，$$ 则称$X$服从$(0-1)$分布或两点分布，记为$X\sim B(x,p)$。
其中$E\left(X\right)=p$，$D\left(X\right)=p(1-p)$。

Definition 1.2 在$n$次独立重复试验中，记$X$为事件A发生的次数，假设在每次试验中事件A发生的概率都是$p$，则随机变量$X$的分布称为二项分布，记为 $X\sim \text{Binom}(n,p)$，其概率函数为 $$P(X=k|n,p)=(\frac{n}{k})(1-p{)}^{n-k},(k=0,1,\dots ,n;0<p<1)$$ 其中$E\left(X\right)=np$, $D\left(X\right)=np(1-p)$。

Definition 1.3 在$n$次伯努利试验中，试验$k$次才得到第一次成功的机率，即前$k-1$次皆失败，第$k$次成功的概率。其概率函数为 $$f\left(x\right)=P(X=x)=p(1-p{)}^{x-1},(x=1,2,\dots )$$ 则称X的分布为几何分布，记为$X\sim \text{geom}\left(p\right)$。

其数学期望和方差分别为 $$E\left(X\right)=\frac{1}{p},D\left(X\right)=\frac{1-p}{p^2}.$$

Definition 1.4 假设有一组独立的伯努利实验，每次实验都有两种结果“成功”和“失败”，$X$为实验成功$r$次之前失败的次数，实验持续到$r$次成功，$r$为正整数，其概率函数为 $$f\left(x\right)=(\frac{r+x-1}{x})p^r(1-p{)}^x,(x=0,1,2,\dots )$$ 则称$X$的分布为负二项分布，记为$X\sim \text{NB}(r,p)$。当$r=1$时，$\text{NB}(1,p)=\text{Geom}\left(p\right)$。

其数学期望和方差为 $$E\left(X\right)=\frac{r(1-p)}{p},D\left(X\right)=\frac{r(1-p)}{p^2}.$$

Definition 1.5 产品抽样检查中经常遇到一类实际问题，假定在$N$件产品中有$M$件不合格品，即不合格率$p=M/N$。在产品中随机抽$n$件做检查，发现$k$件不合格品的概率为 $$PX=k=\frac{(\frac{M}{k})(\frac{N-M}{n-k})}{(\frac{N}{k})},k\in Z,max\{0,n-N+M\}\le k\le min\{n,M\}$$ 则称$X$的分布为超几何分布，记为$X\sim \text{H}(N,M,n)$。

其数学期望和方差为 $$\begin{array}{ccc}E\left(X\right)& =& \frac{nM}{N},\\ D\left(X\right)& =& \frac{nM}{N}(1-\frac{M}{N})\left(\frac{N-n}{N-1}\right).\end{array}$$

Definition 1.6 设随机变量$X$所有可能取的值为$0,1,2,\dots$，参数$\lambda$是单位时间$[0,1]$内随机事件的平均发生次数，其概率函数为 $$P(X=x)=\frac{{\lambda }^x{e}^{-\lambda }}{x!},(x=0,1,2,\dots )$$ 则称$X$服从参数为$\lambda$的泊松分布，记为$X\sim \text{Posi}\left(\lambda \right)$。
其中$E\left(X\right)=\lambda$，$D\left(X\right)=\lambda$。

Definition 2.1 如果随机变量$X$的密度函数(pdf)为 $$X\sim f(x|a,b)=\{\begin{array}{cc}\frac{1}{b-a},& a<x<b\\ 0,& \text{otherwise}\end{array}$$ 则$X$的分布称为$(a,b)$区间的均匀分布，记为 $X\sim \text{Unif}(a,b)$。

其数学期望和方差分别为 $$\begin{array}{ccc}E\left(X\right)& =& \frac{a+b}{2},\\ D\left(X\right)& =& \frac{(b-a{)}^2}{12}.\end{array}$$

Definition 2.2 若连续型随机变量$x$的概率密度$\left(pdf\right)$为 $$f\left(x\right)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$ 其中$\mu ,\sigma (\sigma >0)$为常数，则称$X$服从参数为$\mu ,\sigma$的正态分布，记为$X\sim \text{N}(\mu ,{\sigma }^2)$。
其中$E\left(X\right)=\mu$，$D\left(X\right)={\sigma }^2$。
当$\mu =0,\sigma =1$时，正态分布就成了标准正态分布，记为$X\sim \text{N}(0,1)$。

$$f\left(x\right)=\frac{1}{\sqrt{2\pi }}exp(-\frac{x^2}{2})$$

Definition 2.3 设连续型随机变量$x$的概率密度$\left(pdf\right)$为 $$f\left(x\right)=\{\begin{array}{cc}\lambda e^{-\lambda x},& x>0\\ 0,& x\le 0\end{array}$$ 其中$\lambda >0$为常数，则称为$X$服从参数$\lambda$的指数分布，记为$X\sim \text{Exp}\left(\lambda \right)$。

其数学期望和方差分别为 $$E\left(X\right)=\frac{1}{\lambda },D\left(X\right)=\frac{1}{{\lambda }^2}.$$ \end{eqnarray*}

Definition 2.4 假设随机变量$x$为等到第$\alpha$件事发生所需的等候时间，概率密度函数$\left(pdf\right)$为 $$f\left(x\right)=\frac{{\lambda }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{\alpha -1}{e}^{-\lambda x},(x>0)$$ 则称$X$的分布称为伽马分布，分布中的参数$\alpha$为形状参数，$\lambda$为尺度参数，记为$X\sim \Gamma (\alpha ,\lambda )$或$X\sim \text{gamma}(\alpha ,\lambda )$。

其数学期望和方差分别为 $$E\left(X\right)=\frac{\alpha }{\lambda },D\left(X\right)=\frac{\alpha }{{\lambda }^2}.$$

Definition 2.5 如果$1/X\sim Gamma(\alpha ,\beta )$，则称$X$服从逆伽玛分布，记为 $X\sim IG(\alpha ,\beta )$ 分布，其pdf为： $$f(x|\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\Gamma \left(\alpha \right)}{x}^{-(\alpha +1)}\exp (-\beta /x),(\alpha >0,\beta >0)$$

其数学期望为 $$E\left(X\right)=\beta /(\alpha -1),\alpha >1,$$

其方差为 $$D\left(X\right)=\frac{{\alpha }^2}{(\alpha -1{)}^2(\alpha -2)},\alpha >2.$$

If $X\sim IG(\alpha ,\beta )$, then $1/X\sim Gamma(\alpha ,\beta )$，

If $X\sim IG(\nu /2,\nu s^2/2)$, then $\nu s^2/X\sim {\chi }^2\left(\nu \right)$。

Definition 2.6 一组定义在$(0,1)$区间的连续概率分布，有两个参数$\alpha ,\beta >0$，其概率密度函数$\left(pdf\right)$为 $$\begin{array}{ccc}f\left(x\right)& =& \frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}\\ & =& \frac{\Gamma (\alpha +\beta )}{\Gamma \left(\alpha \right)\Gamma \left(\beta \right)}{x}^{\alpha -1}(1-x{)}^{\beta -1},(0<x<1)\end{array}$$ 随机变量$X$服从参数为$\alpha ,\beta$的贝塔分布，记为 $X\sim \text{Beta}(\alpha ,\beta )$。

其数学期望和方差分别为 $$\begin{array}{ccc}E\left(X\right)& =& \frac{\alpha }{\alpha +\beta },\\ D\left(X\right)& =& \frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}.\end{array}$$

Definition 2.7 柯西分布是一个数学期望不存在的连续型概率分布，其概率密度函数$\left(pdf\right)$为 $$\begin{array}{ccc}f\left(x\right)& =& \frac{1}{\beta \pi }[1+(\frac{x-m}{\beta }{)}^2{]}^{-1}\\ & =& \frac{1}{\pi }\frac{1}{{\lambda }^2+(x-a{)}^2},(-\infty <x<\infty )\end{array}$$ 式中$m$为定义峰值位置的位置参数，$\beta$为尺度参数，记为$X\sim \text{cauchy}(location=m,scale=\beta )$。

其数学期望和方差不存在。

Definition 2.8 一个随机变量的对数服从正态分布，则该随机变量服从对数正态分布，设$X$是取值为正数的连续随机变量，若$lnX\sim \text{N}(\mu ,{\sigma }^2)$，$X$的概率密度函数(pdf)为 $$f\left(x\right)=\frac{1}{x\sigma \sqrt{2\pi }}exp\left[\frac{-(lnx-\mu {)}^2}{2{\sigma }^2}\right],(x>0)$$ 记为$X\sim \text{Inorm}(\mu ,{\sigma }^2)$。

其数学期望和方差分别为 $$\begin{array}{ccc}E\left(X\right)& =& e^{\mu +\frac{{\sigma }^2}{2}},\\ D\left(X\right)& =& (e^{{\sigma }^2}-1)e^{2\mu +{\sigma }^2}.\end{array}$$

Definition 2.9 韦伯分布是一个连续型的概率分布，是可靠性分析和寿命检验的理论基础，其概率密度函数(pdf)为 $$f\left(x\right)=\frac{\alpha }{\beta }\left(\frac{x}{\beta }{)}^{\alpha -1}exp\right(\frac{x}{\beta }{)}^{\alpha },(x>0)$$ 其中，$\alpha$为比例参数，$\beta$是形状参数，记为 $X\sim \text{Weibull}(\alpha ,\beta )$。

其数学期望和方差分别为 $$\begin{array}{ccc}E\left(X\right)& =& \alpha \Gamma (1+\frac{1}{\beta }),\\ D\left(X\right)& =& {\alpha }^2\left[\Gamma \right(1+\frac{2}{\beta })-\Gamma (1+\frac{1}{\beta }{)}^2].\end{array}$$

Definition 2.10 设$X\sim \text{N}(0,1)$,$Y\sim {\chi }^2\left(n\right)$。 且$X,Y$独立，则称随机变量$t=\frac{X}{\sqrt{Y/n}}$服从自由度为$n$的$t$分布，记为$t\sim t\left(n\right)$。$t$分布又称学生氏分布，$t\left(n\right)$分布的概率密度函数(pdf)为 $$h\left(t\right)=\frac{\Gamma \left[\right(n+1\left)/2\right]}{\sqrt{\pi n}\Gamma (n+2)}(1+\frac{t^2}{n}{)}^{-(n+1)/2},(-\infty <x<\infty )$$

其数学期望和方差分别为$$E\left(X\right)=0,D\left(X\right)=\frac{n}{n-2}$$

Definition 2.11 一个随机变量称为 $T\sim t_{\nu }(\mu ,{\sigma }^2)$, 如果 $T=\mu +\sigma Z$，其中 $Z$ 为标准 $t$- 分布，其pdf为 $$f(t|\nu ,\mu ,{\sigma }^2)=\frac{\Gamma \left[\right(\nu +1\left)/2\right]}{\left({\sigma }^2\nu \pi {)}^{1/2}\Gamma \right(\nu /2)}{[1+\frac{(t-\mu {)}^2}{\nu {\sigma }^2}]}^{-(\nu +1)/2}$$ 其中$\nu$为自由度，$\mu$为位置参数，$\sigma$为尺度参数。

其均值为 $E\left(T\right)=\mu (\nu >1)$，其方差为 $$Var\left(T\right)=\frac{\nu {\sigma }^2}{\nu -2}(\nu >2).$$

如果$\mu =0,{\sigma }^2=1$，则为标准$t$-分布：$T\sim t\left(\nu \right)$。

Definition 2.12 称$p$维随机向量$y\sim t_{\nu }(\mu ,\Sigma )$ 或 $t(\mu ,\Sigma ,\nu )$，如果 $$f\left(y\right)=c|\Sigma {|}^{-\frac{1}{2}}{(1+\frac{1}{\nu }(y-\mu {)}^T{\Sigma }^{-1}(y-\mu ))}^{-(\nu +p)/2}$$ 其中$\nu$自由度，$\mu$ 为位置参数，$\Sigma$为尺度参数（正定矩阵）。

如果$\nu =1$，则为哥西(Cauchy)分布。

其数学期望为$E\left(Y\right)=\mu ,(\nu >1)$，其方差为 $$D\left(Y\right)=\frac{\nu }{\nu -2}\Sigma ,(\nu >2).$$

Definition 2.13 设$X_1,X_2,\dots ,X_n$是来自总体$\text{N}(0,1)$的样本,则称统计量${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2$服从自由度为$n$的卡方分布，记为${\chi }^2\sim {\chi }^2\left(n\right)$。自由度是指包含独立变量的个数。其概率密度函数$\left(pdf\right)$为 $$f\left(y\right)=\{\begin{array}{cc}\frac{1}{2^{n/2}\Gamma \left(n/2\right)}{y}^{n/2-1}{e}^{-y/2},& y>0\\ 0,& \text{otherwise}\end{array}$$

其数学期望和方差分别为$$E\left({\chi }^2\right)=n,D\left({\chi }^2\right)=2n$$

Definition 2.14 设$U\sim {\chi }^2\left(n_1\right)$,$V\sim {\chi }^2\left(n_2\right)$。 且$U,V$独立,则称随机变量$F=\frac{U/n_1}{V/n_2}$服从自由度为$(n_1,n_2)$的$F$分布，记为$F\sim \text{F}(n_1,n_2)$,其概率密度为 $$f\left(y\right)=\{\begin{array}{cc}\frac{\Gamma \left[\right(n_1+n_2\left)/2\right](n_1/n_2{)}^{n_1/2}{y}^{(n_1/2{)}^{-1}}}{\Gamma \left(n_1/2\right)\Gamma \left(n_2/2\right)[1+(n_{1}y/n_2){]}^{(n_1+n_2)/2}}& y>0\\ 0,& \text{otherwise}\end{array}$$

其数学期望和方差分别为 $$\begin{array}{ccc}E\left(X\right)& =& \frac{n_2}{n_2-2},\\ D\left(X\right)& =& \frac{2n_2^2(n_1+n_2-2)}{n_1(n_2-2{)}^2(n_2-4)},(n_2>4).\end{array}$$

Definition 2.15 如果随机变量$X$的密度函数(pdf)为 $$f\left(x\right)=\frac{1}{2\lambda }exp\left(-\frac{|x-\mu |}{\lambda }\right)$$ 其中$\lambda ,\mu$为常数，且$\lambda >0$,则称$X$服从参数为$\mu$（位置参数）,$\lambda$（尺度参数）的拉普拉斯分布，记为$X\sim \text{La}(\mu ,\lambda )$。
其数学期望和方差分别为$E\left(X\right)=\mu ,D\left(X\right)=2{\lambda }^2$.

Definition 2.16 如果随机变量$X$的密度函数(pdf)为 $$X\sim f\left(x\right)=\{\begin{array}{cc}\frac{x}{{\sigma }^2}exp-\frac{x^2}{\left(2{\sigma }^2\right)},& x>0\\ 0,& \text{otherwise}\end{array}$$ 则$X$的分布称为瑞利分布。

其数学期望和方差分别为 $$\begin{array}{ccc}E\left(X\right)& =& \sqrt{\frac{\pi }{2}}\sigma ,\\ D\left(X\right)& =& \frac{4-\pi }{2}{\sigma }^2.\end{array}$$

Definition 3.1 假设进行$n$次独立重复试验，每次试验中有$k$个可能的结果，各个结果发生的概率分别为 $p_1,...,p_k$ (其中$p_i\ge 0,{\sum }_{i=1}^k{p}_i=1$)。记 $X_i$ 为第$i$个结果出现的次数，则称随机向量$X=(X_1,X_2,\dots ,X_k{)}^T$ 服从多项分布(Multinomial distribution)，参数为 $n$和 $p=(p_1,p_2,\dots ,p_k{)}^T$，记为$X\sim Multinom(n,p)$，其联合概率函数(pmf)为 $$P(X_1=x_1,\dots ,X_k=x_k)=(\frac{n}{x_1{x}_x\cdots x_k})p_1^{x_1}{p}_2^{x_2}\dots p_k^{x_k},(x_i\ge 0,\sum _{i=1}^k{x}_i=n).$$

Definition 3.2 多元正态分布亦称为多变量高斯分布。它是一元正态分布向多维的推广。
$N$维随机向量$\text{X}=[X_1,\dots ,X_N{]}^T$如果服从多元正态分布，必须满足下面的三个等价条件：

$\left(1\right)$任何线性组合$Y=a_1{X}_1+\cdots +a_N{X}_N$服从正态分布。

$\left(2\right)$存在随机向量$\text{Z}=[Z_1,\dots ,Z_M{]}^T$（它的每个元素服从独立标准正态分布）， 向量$\mu =[{\mu }_1,\dots ,{\mu }_N{]}^T$ 及 $N\times M$矩阵$A$满足$\text{X}=A\text{Z}+\mu$。

$\left(3\right)$存在$\mu$和一个对称半正定阵$\Sigma$满足$\text{X}$的特征函数： $${\phi }_X(\mu ;\mu ,\Sigma )=exp(i{\mu }^T\mu -\frac{1}{2}{\mu }^T\Sigma \mu )$$
如果一个$p$维随机向量$\text{X}$服从多元正态分布（多元高斯分布），其联合概率密度函数为 $$f\left(\text{x}\right)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}exp\{-\frac{1}{2}(\text{x}-\mu {)}^T{\Sigma }^{-1}(\text{x}-\mu )\},(\Sigma >0)$$ 其中$\mu$是均值向量，$\Sigma$是对称正半定矩阵，记为$\text{X}\sim N_p(\mu ,\Sigma )$。

其数学期望和方差分别为
$$E\left(\text{X}\right)=\mu ,D\left(\text{X}\right)=\Sigma .$$

Definition 3.3 假设${\text{X}}_{\left(\alpha \right)}(\alpha =1,2,...,n)$相互独立，且${\text{X}}_{\left(\alpha \right)}\sim N_p(0,\Sigma )$,则随机$p\times p$矩阵 $\text{W}={\sum }_{i=1}^p{x}_i{x}_i^T$ 服从自由度为$n$的威希特分布，记为$\text{W}\sim W_p(n,\Sigma )$。其概率密度函数为 $$f\left(\text{W}\right)=\frac{1}{2^{\frac{np}{2}}|\Sigma {|}^{\frac{n}{2}}{\Gamma }_p\left(\frac{n}{2}\right)}|\text{W}{|}^{\frac{n-p-1}{2}}exp\{-\frac{1}{2}tr({\Sigma }^{-1}\text{W}\left)\right\}$$

其数学期望和方差分别为
$$E\left(\text{W}\right)=n\Sigma ,$$ $$D\left(w_{ij}\right)=n({\sigma }_{ij}^2+{\sigma }_{ii}{\sigma }_{jj})$$ 对于$n\ge p$的矩阵$\text{W}$,如果$\Sigma$是可逆的,那么它也是可逆的。当$p=\Sigma =1$，那么这个分布是一个自由度为$n$的${\chi }^2$分布。

Definition 3.4 假设$\text{W}\sim W_p(n,\Sigma )$，$\text{X}\sim N_p(0,\Sigma )$，$n\ge p$，$\Sigma >0$, $\text{W}$与$\text{X}$相互独立,则随机变量 $$T^2=n{\text{X}}^T{\text{W}}^{-1}\text{X}$$ 所遵从的分布为第一自由度为$p$,第二自由度为$n$的$T^2$分布,记为$T^2\sim T^2(p,n)$。$T^2$分布可转化为$F$分布,其关系可以表示为: $$\frac{n-p+1}{pn}{T}^2(p,n)=F(p,n-p+1)$$

Definition 3.5 假设${\text{W}}_1\sim {\text{W}}_p(n_1,\Sigma )$, ${\text{W}}_2\sim {\text{W}}_p(n_2,\Sigma )$, $\Sigma >0$, $n_1>p$,${\text{W}}_1$与${\text{W}}_2$相互独立, 则 $$\Lambda =\frac{{\text{W}}_1}{{\text{W}}_1+{\text{W}}_2}$$ 服从维度为$p$, 第一自由度为$n_1$, 第二自由度为$n_2$的$Wilks\Lambda$分布, 记为$\Lambda \sim \Lambda (p,n_1,n_2)$。