概率导论(8): 贝叶斯统计推断

系列导言, 本文是作者在学习 Dimitri 概率导论的读书笔记, 侧重于记录我当时没有看懂的部分, 以及对书中部分知识点的一些扩展. 非常零散, 不成系统. 对本系列的使用最好是读者也在学习 Dimitri 概率导论并且恰好有某处不太明白, 可以参考着本系列说不定这里就有答案. 本系列文章在写作时参考了互联网上零零散散非常多的资料在此表示感谢!

例 8.3, 略作补充

整个问题对应着什么背景?

设想现在有一个仪器值为随机变量 $Θ$ , 其服从均值为 $x_{0}$ , 方差为 $σ_{0}^{2}$ 的正态分布. 现在仪器值固定为常数值 $θ_{0}$ . 之后我们以不同方式对这个仪器值进行测量, 每种测量方式对应着一个随机变量 $X_{i}$ , 考虑到每种测量方式误差不一样, 即 $X_{i}$ 方差不会一样, 所以将 $X_{i}$ 假设为均值为 $θ_{0}$ , 方差为 $σ_{i}^{2}$ 正态分布很合理. 每种测量方式的每次测量结果便是 $X_{i}$ 的一个样本, 由于噪声的存在 $X_{i} = θ_{0} + W_{i}$ . 则可以算得

E [W_{i}] = E [X_{i}] - θ_{0} = 0, var (W_{i}) = var (X_{i}) = σ_{i}^{2}

考虑到独立性也有如下等式成立:

E [W_{i}] = E [W_{i} | Θ = θ_{0}], var (W_{i}) = var (W_{i} | Θ = θ_{0})

X, Y 独立. 则 $E [X | Y] = E [Y], var [X | Y] = var [Y]$

证明: $var [X | Y] = E [\tilde{X} (X, y_{0})^{2} | Y = y_{0}] = E [\tilde{X} (X, y_{0})^{2}] = var (X)$ .

$f_{X | Θ} (x | θ)$

解: 由于独立性 $f_{X | Θ} (x | θ) = f_{X} (x) = f_{X_{1}} (x_{1}) \dots f_{X_{n}} (x_{1})$ .

P.S. 这里 X 表示着 n 维向量.

递推推断

当面对 n = N, n = N + 1 时, 我们可以像原文一样从头计算出各自的后验分布. 但自然而言有一个问题, 能否基于 n = N 的结果直接计算 n = N+1 的结果:

\begin{aligned} n = 1, v_{1} & = \frac{1}{1 / σ_{0}^{2} + 1 / σ_{1}^{2}} \\ n = 2, v_{2} & = \frac{1}{1 / σ_{0}^{2} + 1 / σ_{1}^{2} + 1 / σ_{2}^{2}} \end{aligned}

很明显我们可以观察到 $v_{2} = \frac{1}{1 / v_{1} + 1 / σ_{2}^{2}}$ , 而且经过推导这也总是正确的, 同样的 m 也有类似的递推公式.

最大概率后验准则, 略作补充

\begin{aligned} E [I | X = x_{0}] & = 1 \times P_{I | X = x_{0}} (I = 1) + 0 \times P_{I | X = x_{0}} (I = 0) \\ = P_{I | X = x_{0}} (I = 1) = P (g (X) = θ_{0} | X = x_{0}) \end{aligned}

这里继续接着例 8.3 的故事讲, $θ_{0}$ 是正确值, $x_{0}$ 是一次测量值, $g (X)$ 是根据测量值作出的对 $θ_{0}$ 的猜测 $g (X) = θ_{0}$ 意味着猜对了!

关于 $P (g (X) = θ_{0} | X = x_{0}) \leq P (g_{M A P} (X) = θ_{0} | X = x_{0})$ , 我之前有点迷惑, 迷惑点在于根据最大准则定义可知 $P (g (X) | X = x_{0}) \leq P (g_{M A P} (X) | X = x_{0})$ . 但是 $P (g (X) = θ_{0} | X = x_{0}), P (g (X) | X = x_{0})$ 这俩是一回事么? 其实是的啊, $P (g (X) | X = x_{0})$ 的语义就是在 $x = x_{0}$ 时 $θ_{0} = g (X)$ 的概率啊. 不对感觉不太对, $P_{X | Y} (x | y)$ 是 $Y = y$ 时 $X = x$ 的概率.

8.3 求证 $E [(Θ - \hat{θ})^{2} | X = x_{0}]$ 在 $\hat{θ} = E [Θ | x = x_{0}]$ 时达到最小.

证明: 首先给出条件期望, 条件方差一些性质

\begin{aligned} E [a X + b | Y] & = \int_{- \infty}^{\infty} (a X + b) f_{X | Y} (x | y) d x \\ = a \int_{- \infty}^{\infty} X f_{X | Y} (x | y) d x + b \int_{- \infty}^{\infty} f_{X | Y} (x | y) d x \\ = a E [X | Y] + b \\ var (X | Y) & = E [(X - E [X | Y])^{2} | Y] = E [(X^{2} + (E [X | Y])^{2} - 2 E [X | Y] X) | Y] \\ = E [(X^{2} - 2 E [X | Y] X) | Y] + (E [X | Y])^{2} \\ = E (X^{2} | Y) - (E [X | Y])^{2} \\ var (a X + b | Y) & = E [(a X + b)^{2} | Y] - (E [a X + b | Y])^{2} \\ = E [(a^{2} X^{2} + b^{2} + 2 a b X) | Y] - (a E [X | Y] + b)^{2} \\ = a^{2} E [X^{2} | Y] - a^{2} (E [X | Y])^{2} = a^{2} var (X | Y) \end{aligned}

利用上述性质可以计算出:

E [(Θ - \hat{θ})^{2} | X] = var (Θ | X) + (E [Θ | X] - \hat{θ})^{2}

P.S. 眼都花了.

8.1.zy1, $\forall g, E [(Θ - E [Θ | X])^{2}] \leq E [(Θ - g (X))^{2}]$

证明: 首先 $E [(Θ - g (X))^{2}]$ 意味着什么, 这里 $Θ, X$ 都是随机变量, $E [(Θ - g (X))^{2}]$ 便是 3.5.3 全期望定理提到的 $E [g (X, Y)]$ . 根据 3.5.3 这里公式可得:

E [h (Θ, X)] = \int E [h (Θ, X) | X] f_{X} (x) d x

令 $h_{1} (Θ, X) = (Θ - E [Θ | X])^{2}, h_{2} (Θ, X) = (Θ - g (X))^{2}$ . 有上可得:

\begin{aligned} E [h_{1} (Θ, X) | X] & \leq E [h_{2} (Θ, X) | X], \forall x \\ E [h_{1} (Θ, X) | X] f_{X} (x) & \leq E [h_{2} (Θ, X) | X] f_{X} (x), \forall x \\ E [h_{1} (Θ, X)] & \leq E [h_{2} (Θ, X)] \end{aligned}

P.S. 眼又花了.

8.1.zy5, 对于随机变量 X, $var (X) = 0$ 意味着什么?

解: 由切比雪夫不等式, 可知此时 $\forall c, P (| x - E [X] | \geq c) = 0$ , 即 $P (X = E [X]) = 1$ . 此时一种情况是 X 为离散分布, 且 $P (X = k) = 1$ , 这里 k 为常数, 容易计算 $E [X] = k$

例子 8.14, 由 8.1.zy5 可知 $\hat{θ}$ 其分布是 $P (\hat{θ} = k) = 1$ , 这里 $k = E [\hat{θ}] = E [E [Θ | X]] = E [Θ]$ .

8.3.2, 回到 3.5.3, 如下 $x_{1}, \dots, x_{n}$ 可以视为常数. $θ$ 是变量.

\begin{aligned} E [Θ | X_{1} = x_{1}, \dots, X_{n} = x_{n}] & = \int θ f_{Θ | X_{1} \dots X_{n}} (θ | x_{1}, \dots, x_{n}) d θ \\ f_{Θ | X_{1} \dots X_{n}} (θ | x_{1}, \dots, x_{n}) & = \frac{f_{Θ, X_{1} \dots X_{n}} (θ, x_{1}, \dots, x_{n})}{f_{X_{1} \dots X_{n}} (x_{1}, \dots, x_{n})} \end{aligned}

线性最小均方估计的公式, 略作补充

$\frac{\hat{Θ} - E [Θ]}{X - E [X]} = ρ \frac{σ_{Θ}}{σ_{X}}$ , 这意味着当 $ρ > 0$ 时, $\hat{Θ} - E [Θ], X - E [X]$ 同号. 反之异号. 这应该量化了图 4.11 例子, 我当时是不太明白 “趋向” 是指啥意思..:

粗略地说，一个正或者负的协方差表示在一个试验中的 $X - E [X]$ 和 $Y - E [Y]$ 的值“趋向”有相同或者相反的符号（见图4.11）.

均方估计误差为 $(1 - ρ^{2}) σ_{Θ}^{2}$ , 这说明了 $| ρ |$ 越接近 1, 对 X 进行简单的线性估计就可以得到比较低的误差, 即 $X, Θ$ 相关性很强.
有一个问题.

我们这里所求的 $a_{0}, b_{0}$ 满足 $E [Θ - a_{0} X - b_{0}] \leq E [Θ - a X - b], \forall a, b$ . 但这是否意味着在 $X = x_{0}$ 条件下 $E [Θ - a_{0} X - b_{0} | X = x_{0}] \leq E [Θ - a X - b | X = x_{0}]$ 成立呢? 在 8.1.zy1 中由全期望定理, 由 $E [Θ - a_{0} X - b_{0} | X = x_{0}] \leq E [Θ - a X - b | X = x_{0}], \forall x_{0}$ 可得 $E [Θ - a_{0} X - b_{0}] \leq E [Θ - a X - b]$ . 这里要探究反过来是否成立呢?

俺不知道.. 这个问题留着吧.

8.4.2 多次观测, 习题 22, 略作补充.

计算 $\frac{\partial h}{\partial b}$ , 以 $h (a_{1}, a_{2}, b)$ 为例

\begin{aligned} h (a_{1}, a_{2}, b) & = E [((a_{1} + a_{2} - 1) Θ + (a_{1} W_{1} + a_{2} W_{2}) + b)^{2}] \\ = (a_{1} + a_{2} - 1)^{2} E [Θ^{2}] + a_{1}^{2} E [W_{1}^{2}] + a_{2}^{2} E [W_{2}^{2}] + b^{2} + 2 (a_{1} + a_{2} - 1) b E [Θ] \\ \frac{\partial h}{\partial b} & = 2 (a_{1} + a_{2} - 1) E [Θ] + 2 b \end{aligned}

即 $b = E [Θ] (1 - (a_{1} + a_{2}))$ 时, $\frac{\partial h}{\partial b} = 0$ . 这也是为啥在 8.4.1 中选择 $b = E [Θ] - a E [X]$ . 在习题 22 条件下 $E [X] = E [Θ]$ .

P.S. 我一开始是硬算的, 这之后才得出了 8.1.zy6 结论

8.1.zy6. $h (a) = E [g (a, X)]$ , $\frac{\partial h}{\partial a} = E [\frac{\partial g}{\partial a} ((a, X))]$

证明: 参见 Leibniz integral rule:

\begin{aligned} h (a) & = \int g (a, X) f_{X} (x) d x \\ \frac{\partial h}{\partial a} & = \frac{\partial}{\partial a} \int g (a, X) f_{X} (x) d x = \int \frac{\partial}{\partial a} (g (a, X) f_{X} (x)) d x \\ = \int \frac{\partial}{\partial a} (g (a, X)) f_{X} (x) d x \end{aligned}

这里对 a 求偏导时, $f_{X} (x)$ 相当于常数.

P.S. 这里确定 $a = a_{0}, g (a_{0}, X)$ 是一个随机变量.

P.S. 不太严谨地将如上行为扩展到多元情况:

\begin{aligned} h (a, b) & = E [g (a, b, X, Y)] \\ \frac{\partial h}{\partial a} & = E [\frac{\partial}{\partial a} g (a, b, X, Y)] \end{aligned}

$E [X_{i} W_{i}]$

解: 我一开始认为 $E [X_{i} W_{i}] = E [(Θ + W_{i}) W_{i}] = E [Θ + W_{i}] E [W_{i}]$ . 即我认为由 3.1.zy4 可得 $Θ + W_{i}, W_{i}$ 相互独立, 这其实是不对的! 3.1.zy4 只是说 X, Y 独立时, $g (X), h (X)$ 也独立, 并不是 $g (X, Y), h (Y)$ 独立!!!

8.4.3 其条件均值 $E [Θ | X_{1} \dots X_{n}]$ 是观测值的线性函数.

解: 回到例子 8.3, 结合 3.3, 3.5.3 可得 $E [Θ | X_{1} \dots X_{n}] = m$ , 即确实是观测值的线性函数.

8.4.4, 设 h 是双射, $X, Y = h (X), y_{0} = h (x_{0})$ , 求证 $E [Θ | Y = y_{0}] = E [Θ | x = x_{0}]$

证明: 回到 3.5.3 $E [Θ | A] = \int θ f_{Θ | A} (θ) d θ$ . 而 $Y = y_{0}, X = x_{0}$ 表示着相同事件. 所以可证.

CATALOG