Skip to content

常见随机变量分布类型知识总结

1. 泊松分布

DEF: $$ X\sim \pi(x),P{X=k}=\frac{\lambdak}{k!}e{-\lambda},k=0,1,2,\cdots $$ $$ E(X)=\sum_{k=0}^{+\infty}k \cdot \frac{\lambdak}{k!}{}e{-\lambda}=e{-\lambda}\sum_{k=1}{+\infty}\frac{\lambda^{k-1}}{(k-1)!}\lambda=\lambda $$ $$

\begin{align} \ E(X2)=\sum_{k=0}{+\infty}{\frac{\lambdak}{k!}e{-\lambda}k2}=\sum_{k=0}{+\infty}{\frac{\lambda{k-1}\lambda}{(k-1)!}e{-\lambda}(k-1+1)} \ =\frac{\sum_{k'=0}{+\infty}{\lambda{k'}\lambda}}{k'!}e{-\lambda}(k'+1)=\lambda(1+\lambda)=\lambda2+\lambda \ \end{align} $$

So we have that: $$ D(X)=E(X2)-E(X)2=\lambda2+\lambda-\lambda2=\lambda $$ 特征函数#泊松分布

泊松 (Poisson) 定理:、

设 r.v.序列 \(\left\{ X_{n} \right\},X_{n}\sim b(n,p_{n})\)，且 \(np_{n}=\lambda>0\) 为常数，\(k\) 为任意固定的非负整数，则 $$ \lim_{ n \to \infty } P\left{ X_{n}=k \right} =\lim_{ n \to \infty } {k \choose n}p_{n}k(1-p_{n}){n-k}={\frac{\lambdake{ -\lambda }}{k!}} $$ 伯努利分布在 \(n\) 较大，且 \(p\) 较小的时候可以用泊松分布拟合。

2. 均匀分布

DEF: $$\begin{equation}

f(x)=\begin{cases} \frac{1}{b-a}&a\leq x\leq b \ 0& \text{otherwise}

\end{cases} \end{equation} $$

\[ E(X)=\int_{-\infty}^{\infty} xf(x) \, dx=\frac{{b+a}}{2} $$ $$ E(X^2)=\int_{a}^{b}{\frac{1}{b-a}x^2}=\frac{1}{3(b-a)}x^3|^b_{a}=\frac{{b^3-a^3}}{3(b-a)}=\frac{(b-a)(b^2+ab+a^2)}{3(b-a)}=\frac{b^2+ab+a^2}{3} $$ So, we have $D(X)$ $$ D(X)=E(X^2)-E(X)^2=\frac{b^2+ab+a^2}{3}-\frac{b^2+a^2+2ab}{4}=\frac{{(b-a)^2}}{12}\]

3.指数分布

[!note] 定义 \(X\sim e(\theta)\) ,那么有 $$ \begin{equation} f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta}&\text{x>0} \ \ 0,&\text{otherwise} \end{cases} \end{equation} \text{some time we use \(\frac{1}{\lambda}\) instead of \(\theta\)} $$

值得注意的是指数分布具有无记忆性，即if \(X\sim e(\theta)\) $$ P{X>s+t|X>s}=P{X>t} $$

\[ E(X)=\int_{0}^{\infty} x \frac{1}{\theta}e^{-x/\theta} \, dx =^{\text{Let u = x/}\theta}\theta =\int_{0}^{+\infty}{u}e^{-u}du=\theta\;\Gamma(2)=\theta \]
\[ E(X^2)=\int_{0}^{\infty}x^2\lambda e^{-\lambda x}dx=\frac{1}{\lambda^2}\int_{0}^{\infty} {(\lambda x)^2}\exp(-\lambda x)d\lambda x=\frac{1}{\lambda^2}\int_{0}^{+\infty}t^2\exp(-t)dt=\frac{1}{\lambda^2}\Gamma(3)=\frac{2}{\lambda^2}$$ $$ D(X)=E(X^2)-E(X)^2=\frac{2}{\lambda^2}-\frac{1}{\lambda^2}=\frac{1}{\lambda^2} $$ 特征函数为 ![特征函数#常见分布类型的特征函数#指数分布](<./特征函数.md#常见分布类型的特征函数指数分布>) 事实上，现在用特征函数可以很方便的求出期望和方差了。 ## 4.正态分布 > [!note] 定义 $X\sim N(\mu,\sigma^2)$ 则概率密度函数(PDF)为 $$ f(x)=\dfrac{1}{\sqrt{ 2\pi }\sigma}e^{ -\dfrac{(x-\mu)^2}{2\sigma^2} },x \in\left( -\infty,+\infty \right) \]

当\(\mu=0,\sigma=1\)时候称标准正态分布 一个有趣的积分 \(\int_{-\infty}^{\infty} e^{ -x^{2} } \, dx=\sqrt{ \pi }\) Proof: $$ \begin{align} \left( \int_{-\infty}^{\infty} e{-x{2}} \, dx \right) ^{2}=& \ \int_{-\infty}^{\infty} e{-x{2}} \, dx\int_{-\infty}^{\infty} e^{ -y^{2} } \, dy=& \ \iint_{\infty D}e^{ -(x{2}+y{2}) }dxdy=& \ \int_{0}^{2\pi}d\theta \int_{0}{\infty}e{ -\rho^{2} }\rho d\rho=&2\pi\cdot \frac{1}{2}=1 \cdot\pi=\pi\ \

\end{align} $$ 对于标准正态分布，由上面的积分容易知道其满足概率归一化假设。 $$ \int_{-\infty}^{\infty} \frac{1}{\sqrt{ 2\pi }}e^{ -x^{2}/2 } \, dx=\frac{1}{\sqrt{ 2\pi }}\int_{-\infty}{\infty}e{ -(x/\sqrt{ 2 })^{2} } \sqrt{ 2 } \, d\left( \frac{x}{\sqrt{ 2 }} \right) =\frac{1}{\sqrt{ 2\pi }}\sqrt{ 2 }\cdot \int_{-\infty}^{\infty} e{-t{2}} \, dt=\frac{\sqrt{ \pi }}{\sqrt{ \pi }}=1 $$

\[ \begin{split} D(X)&=\frac{1}{\sqrt{ 2\pi }\sigma}\int_{-\infty}^{\infty} (x-\mu)^2e^{-{(x-\mu)^2/2\sigma}} \, dx &&{Let\;t = x - \mathrm{\mu}}\\ &=\frac{1}{\sqrt{ 2\pi }\sigma}\int_{-\infty}^{\infty} t^2e^{{-t^2/2\sigma^2}} \, dt && Let \;u =\frac{t^2}{2\sigma^2} \\ &=\frac{2}{\sqrt{ 2\pi }\sigma}\int_{0}^{\infty}2\sigma^2ue^{-u}\sigma{\frac{1}{\sqrt{ 2 }}u^{-1/2}} \, du &=\frac{2\sigma^2}{\sqrt{ \pi }}\Gamma\left( \frac{3}{2} \right)=\frac{2\sigma^2}{\sqrt{ \pi }}\times{\frac{1}{2}}\times{\sqrt{ \pi}}=\sigma^2 \end{split} \]

关于正态分布，有几个分位数要求记忆一下

标准正态分布的上 alpha分位点

设\(X\sim N(0,1)\)，若\(z_{\alpha}\)满足条件 $$ P(X>z_{\alpha})=\alpha ,where\;0<\alpha<1 $$ 称点\(z_{\alpha}\)为标准正态分布的上\(\alpha\)分位点 $$ z_{0.05}=1.645,z_{0.025}=1.96 $$

正态分布特征函数： 特征函数#常见分布类型的特征函数#正态分布(Normal Distribution)

5.几何分布

[!定义] 设有一独立重复试验序列，每次试验成功的概率为\(p\)，记\(N\)为取得第一次成功所需的实验次数，则称\(N\sim \text{Geometric Distribution}\) $$ P\left{ X=k \right} =q^{k-1}p $$

[!note] $$ E(N)=\sum_{k=1}{+\infty}{kq{k-1}p}=p\sum_{k=1}{+\infty}(qk)'=p\left( \sum_{k=1}{+\infty}qk \right)'=p\left( \frac{q}{1-q} \right)'=p\times{\frac{{1-q+q}}{(1-q)2}=p\frac{1}{((1-q)2}}=\frac{1}{p} $$ 对于\(E(N^2)\) 我们用重期望公式来考虑，先构造一个条件划分。 Introduce a random variable \(Y\), where $$ Y=\begin{cases} 1,&\text{if the first experiment succeed} \ 0,&\text{otherwise} \end{cases} $$ 那么\(E(N^2)\)有如下规律: if \(Y=1\)，then \(N=1,N^2=1\) if \(Y=0\), then the first experiment failed, the experiment can be regarded as restarted. So the \(N\) become \(N+1\) (always need one more time), and \(N+1\) is in same distribution as \(N+1\) use math language to express: $$ E(N2|Y=0)=E((1+N)2) $$ $$ \begin{aligned} E(N2)&=E(N2|Y=1)P{Y=1}+E(N^2|Y=0)P{Y=0}\ &=p+E((1+N)^2)(1-p)\ &=p+E(N^2+2N+1)(1-p)\ &=p+(1-p)E(N^2)+\frac{2}{p}(1-p)+1-p \end{aligned} $$ So, easily to solve \(\(E(N^2)=\frac{{2-p}}{p^2}\)\) $$ D(N)=E(N2)-E(N)2=\frac{{2-p}}{p2}-\frac{1}{p2}=\frac{{1-p}}{p^2} $$

6.伽马分布(Gamma Distribution)

[!note] 定义：如果连续性r.v \(X\) 的概率密度函数PDF为 $$ f(x)=\begin{cases} \dfrac{\lambdap}{\Gamma(p)}x{p-1}e^{ -\lambda x },\;x>0 \ \ \ 0, \;x\leq 0 \end{cases} $$ where \(\lambda>0,p>0\)为参数，gamma函数为\(\Gamma(t)=\int_{0}^{\infty} x^{t-1}e^{ -x } \, dx\)

Gamma函数的性质

\[ \begin{align} &(i)\;\Gamma(p+1)=p\Gamma(p) \\ &(ii)\;\text{ for some positive integer }n, \Gamma(n+1)=n! \\ &(iii)\; \Gamma\left( \frac{1}{2} \right)=\sqrt{ \pi } \end{align} \]

则称\(X\)服从Gamma分布，即\(X\sim\Gamma(p,\lambda)\)

特例： #3.指数分布是特殊的gamma分布,where \(X\sim e(\lambda)\leftrightarrow X\sim \Gamma(1,\lambda)\)

伽马函数的特征函数：(是指数函数的推广) 特征函数#特征函数#伽马分布

7.幂律分布

幂律分布（Power-law Distribution）是一种概率分布，其特征是某些现象中小值很常见，而大值非常罕见，但大值的概率仍然比许多其他分布下降得更慢。其概率密度函数（PDF）通常表示为：

\(P(x)\propto x^{-\alpha}, \quad x \geq x_{\text{min}},\)

其中：

  • \(\alpha > 1\) 是幂指数（或尾部指数），决定了分布的陡峭程度。

  • \(x_{\text{min}}\) 是分布定义的最小值。

幂律分布在对数尺度上表现为一条直线，其对数形式为：

log⁡P(x)=−αlog⁡x+constant.\log P(x) = -\alpha \log x + \text{constant}.

特点

  1. 厚尾性: 幂律分布属于厚尾分布，尾部概率衰减缓慢。相比正态分布等薄尾分布，幂律分布中的极端值（如非常大的事件）更常见。

  2. 无标度性: 幂律分布具有无标度特性，即比例缩放后，分布形式不变。这使得它在描述一些自然和社会现象（如城市规模、网络链接、地震强度）时尤为适用。

  3. 极端事件显著性: 由于大值的概率下降缓慢，幂律分布能够很好地描述罕见但重大事件的发生概率。

常见例子

  • 金融: 资产价格变化（如股票收益率）中的极端波动。

  • 社会现象: 财富分布（帕累托分布）、城市规模分布。

  • 网络科学: 互联网节点的链接分布。

  • 自然现象: 地震强度、洪水大小、台风强度。

应用中的意义

在风险管理和系统性风险分析中，幂律分布帮助描述极端事件的概率。比如，在金融市场中，幂律分布能解释为什么极端价格波动（如金融危机）比正态分布预测的更常见。这使得幂律分布成为估计尾部风险（如VaR和ES）的重要工具。