条件期望和重期望¶

对数学期望(Expectation)的预先了解，请查看此关于数学期望

如果Y是一个连续型随机变量，给定条件X=x，且其p.d.f: $g(y|x)$ 那么有 $$ E(Y|x)=\int_{-\infty}^{\infty} y g(y|x)dy $$

最重要的是理解$E(Y|x)$是一个关于 $x$的函数，也可以看作是一个随机变量。那么对其可以做数学期望的计算也是显然的

So we have:

$$ \begin{array} \ \ E(E(Y|X=x))=\int_{-\infty}^{\infty} E(Y|X=x)p_{X}(x) \, dx \ \ \

E(E(Y|X=x))=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} yg(y|x)p_{X}(x)dydx \ E(E(Y|X=x))=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} yg(x,y) dy \, dx =\int_{-\infty}^{\infty} y\int_{-\infty}^{\infty} g(x,y) \, dxdy \ \ E(E(Y|X=x))=\int_{-\infty}^{\infty} yg(y)dy=E(Y) \end{array} $$ 注意第二步的变换。我们相当于交换了一下积分区域。因为积分区域是一个无穷的矩形区域。再结合全概率公式就可以配凑出结论。

$$ \mathrm{Theorom:E(E(Y|X=x)= E(Y))} $$ 这就是重期望公式。

概率不等式¶

切比雪夫不等式 (Chebyshev)¶

\[ P\left\{ \left| X-\mu \right| \geq \varepsilon \right\}\leq \frac{\sigma^{2}}{\varepsilon^{2}} \]

马尔科夫不等式 (Markov)¶

$X\geq {0},\forall a>0$ $$ P{X\geq a }\leq \frac{E(X)}{a} $$

单边切比雪夫不等式¶

$X$ 零均值，有限方差

\[ P\left\{ X\geq a \right\} \leq \frac{\sigma^{2}}{\sigma^{2}+a^{2}} \]