【概率论】期望

期望

随机变量的期望

期望通常记为 \\mu\)

离散型随机变量期望

\X\) 是满足频率函数为 \px)\) 的随机变量,若 \\sum_i |x_i|px_i)<\infty\),那么 \X\) 的期望

\[Ex) = \sum_i x_i px_i)
\]

连续型随机变量期望

定义类似,设 \X\) 是满足密度函数为 \fx)\) 的随机变量,若 \\int |x|fx)dx<\infty\),那么 \X\) 的期望

\[Ex) = \int x fx)dx
\]

积分发散时无定义,同理上述离散型中和式发散时无定义。

柯西密度

柯西分布 \fx) = \frac{1}{\pix^2+1)}\),看似 \EX)=0\),但因为 \\int_{-\infty}^{\infty}\frac{|x|}{\pix^2+1)}dx\) 是发散的,因此不存在期望。

马尔可夫不等式

如果随机变量 \X\)​ 满足 \PX\geq 0) = 1\)​,则有 \PX\geq t)\leq \frac{EX)}{t}\)​。

证明(离散形式):

\[\begin{aligned}
EX) &= \sum_{x<t}xpx) + \sum_{x\geq t}xpx)\\
&\geq \sum_{x\geq t}xpx)\\
&\geq \sum_{x\geq t}tpx)\\
&=tPX\geq t)
\end{aligned}
\]

连续形式类似。

随机变量函数的期望

\Y=gX)\)

离散形式:\EY) = \sum gx)px)\)

连续形式:\EY) = \int gx)fx) dx\)

对离散形式的证明:

约定 \A_i\) 表示满足 \gx) = y_i\)\x\) 构成的集合。

\[\begin{aligned}
EY) &= \sum y p_Yy)\\
&= \sum_i y_i \sum_{x\in{A_i}}px) \\
&= \sum gx)px)
\end{aligned}
\]

推广:

\Z=gX, Y)\)​,如果 \\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} |gx, y)|fx, y)dxdy < \infty\)​,那么有 \EZ) = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} gx, y)fx, y)dxdy\)

随机变量线性组合的期望

\X_i\) 是具有期望 \EX_i)\) 的联合分布随机变量,\Y\)\X_i\) 的线性函数,\Y=a+\sum_{i=1}^n b_iX_i\),则

\[EY) = a+\sum_{i=1}^n b_iEX_i)
\]

上述定理的应用

直接计算二项频率函数的期望 \EY)\) 是复杂的,我们将 \Y\) 拆成伯努利随机变量 \X_i\) 的和,\X_i\) 代表第 \i\) 个试验成功与否(成功取 \1\),反之取 \0\)​)。

那么 \EY) = \sum_{i=1}^n EX_i) = np\)

方差和标准差

随机变量的期望可以看作是密度或频率函数中心。而标准差描述关于中心的发散程度

方差 & 标准差定义

如果随机变量 \X\) 具有期望 \EX)\),那么方差为:

\[VarX) = E\{[X-EX)]^2\} = E[X-\mu)^2]
\]

\X\)​​​ 的标准差为方差的平方根。

方差通常记为 \\sigma ^ 2\),标准差记为 \\sigma\)

方差离散形式:\VarX) = \sum_i px_i)x_i-\mu)^2\)

方差连续形式:\VarX) = \int fx)x-\mu)^2dx\)

定理

\EX)\)​​ 存在, \Y=b+aX\)​​,那么 \VarY) = a^2 VarX)\)​​。

证明:

\[\begin{aligned}
VarY) &= E[Y-EY))^2] \\
&= E[b+aX-Eb+aX))^2] \\
&= E[b+aX-aEX)-b)^2] \\
&= a^2 E[X-EX))^2] \\
&= a^2 VarX)
\end{aligned}
\]

\EX)\)​ 存在,\VarX) = EX^2) – [EX)]^2\)​,即 \VarX) = EX^2) – \mu^2\)​​。

证明:

\[\begin{aligned}
VarX) &= E[X-\mu)^2]=EX^2 – 2\mu X + \mu ^2) \\
&= EX^2) – 2\mu EX) + \mu^2 \\
&= EX^2)-\mu^2
\end{aligned}
\]

(切比雪夫不等式)令 \X\) 是均值为 \\mu\) 方差为 \\sigma^2\) 的随机变量,则 \\forall t>0\),有

\[P|X-\mu|>t) \leq \frac{\sigma^2}{t^2}
\]

证明:

\Y = X-\mu)^2\)​,那么 \EY) = \sigma^2\)​,只需证明 \PY > t^2) \leq \frac{EY)}{t^2}\)​,这正是马尔可夫不等式。​

协方差 & 相关系数

方差是随机变量变异性的度量,两个随机变量的协方差是它们联合变异性的度量。

协方差定义

如果 \X,Y\) 是分别具有期望 \\mu_X,\mu_Y\) 的随机变量,则 \X,Y\) 的协方差是:

\[CovX, Y) = E[X-\mu_X)Y-\mu_Y)]
\]

另一种表述形式是

\[CovX, Y) = EXY)-EX)EY)
\]

推导:

\[\begin{aligned}
CovX, Y) &= E[X-\mu_X)Y-\mu_Y)] \\
&= EXY – \mu_XY-X\mu_Y + \mu_X\mu_Y) \\
&= EXY) – \mu_Y EX) – \mu_XEY) + \mu_X\mu_Y \\
& = EXY)-EX)EY)
\end{aligned}
\]

如果 \X,Y\) 独立,我们有 \EXY) = EX)EY)\),因此 \CovX,Y)=0\),但是反过来却不一定成立。

另外,我们有 \VarX+Y) = VarX) + VarY) + 2CovX, Y)\)

推导:

\[\begin{aligned}
VarX+Y) &= E[X+Y)-EX+Y))^2] \\
&= E\{[X-\mu_X) + Y-\mu_Y)]^2\} \\
&= VarX) + VarY) +2CovX, Y)
\end{aligned}
\]

从这个结论中可知,当 \X,Y\) 独立时,\VarX+Y) = VarX) + VarY)\)

协方差性质

均可由期望的性质简单地推出。

\\forall a,b\),有 \CovaX, bY) = abCovX, Y)\)

\CovX_1+X_2,Y) = CovX_1, Y) + CovX_2, Y)\)

X,Y 不相关意味着 \CovX,Y) = 0.\)

相关系数定义

如果 \X,Y\)​ 的方差和协方差都存在,且方差非 \0\)​,那么 \X,Y\)​ 的相关系数记为 \\rho_{XY} = \frac{CovX, Y)}{\sqrt{VarX)VarY)}}\)​​

\\rho_{XY}\) 刻画 \X,Y\) 的关系:

\min_{a,b}E[Y-aX+b))^2] = E[Y-a_0X+b_0))^2] = DY)1-\rho^2)\)

条件期望

定义

在给定 \X = x\)​ 的条件下,\Y\)​ 的条件期望是:

\[EY|X=x) = \sum_y yp_{Y|X}y|x)
\]

连续情形:

\[EY|X=x) = \int yf_{Y|X}y|x)dx
\]

\hy)\) 相应的条件期望为:

\[EhY)|X=x) = \sum_y hy)p_{Y|X}y|x)
\]

假设对于 \X\)​ 范围内的任意 \X=x\)​ 时 \Y\) 的期望均存在,那么它(条件期望)是 \X\) 的函数,因此它是随机变量。只要相应的和式/积分收敛,那么它就具有期望 \E[EY|X)]\)​​ 和方差。

定理

\EY) = E[EY|X)]\)

这个定理告诉我们求 \Y\) 的期望值可以通过先以 \X\) 为条件,计算出 \EY|X)\),再将其关于 \X\) 求平均值(期望)得到。

证明:

我们需要得到 \EY) = \sum_x EY|X=x)px)\)​​​。

\EY|X=x) = \sum_y yp_Yy|x)\)​,

因此 \\sum_x EY|X=x)px) = \sum_y y \sum_x p_{Y|X}y|x)p_Xx)\)

利用全概率公式 \p_Yy) = p_{Y|X}y|x)p_{X}x)\)

故有 \\sum_x EY|X=x)px) = \sum_y y \sum_x p_{Y|X}y|x)p_Xx) = \sum_y yp_Yy) = EY)\)

\VarY) = VarEY|X)) + EVarY|X))\)。(证明待补)

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注