系列导言, 本文是作者在学习 Dimitri 概率导论的读书笔记, 侧重于记录我当时没有看懂的部分, 以及对书中部分知识点的一些扩展. 非常零散, 不成系统. 对本系列的使用最好是读者也在学习 Dimitri 概率导论并且恰好有某处不太明白, 可以参考着本系列说不定这里就有答案. 本系列文章在写作时参考了互联网上零零散散非常多的资料在此表示感谢!
$Z_n, S_n$; 这里 n 视为常数. $Z_n = A S_n + B$, 这里 $A = \frac{1}{\sigma \sqrt{n}}, B = -\frac{\sqrt{n} \mu}{\sigma}$. 所以
\[\begin{align} E[Z_n] &= A E[S_n] + B = 0 \\ \mathrm{var}(Z_n) &= A^2 \mathrm{var}(S_n) = 1 \end{align}\]例 5.3, $E[(x - \frac{a + b}{2})^2] = E[(x - a)(x - b)] + \frac{(b-a)^2}{4}$
真的硬算就行:
\[\begin{align} E[(x - \frac{a + b}{2})^2] &= E[(x - b + \frac{b-a}{2})^2] \\ &= E[(x - b)^2 + (\frac{b-a}{2})^2 + (x - b)(b-a)] \\ &= E[(x - b)^2] + (b-a)E(x - b) + (\frac{b-a}{2})^2 \\ &= E[x^2] - 2bE[x] + (b-a)E[x] + ab + (\frac{b-a}{2})^2 \\ &= E[(x-a)(x-b)]+ (\frac{b-a}{2})^2 \end{align}\]习题 12, 中心极限定理的证明. 关于 $M_{Z_n}(s)$, 其泰勒展开我一开始算法: 设 $g(x) = f(kx)$, 若 $f(x)$ 在 x=0 处有二阶导数, 则易证 $g(x)$ 也有二阶导数, 且:
\[\begin{align} g'(x) &= kf'(kx) \quad g''(x) = k^2 f''(kx) \\ f(x) &= f(0) + f'(0)x + \frac{f''(0)}{2}(x) + (o(x^2) x \to 0) \\ g(x) &= g(0) + g'(0)x + \frac{g''(0)}{2}(x) + (o(x^2) x \to 0) \\ &= f(0) + kf'(0)x + \frac{k^2 f''(0)}{2}(x) + (o(x^2) x \to 0) \\ M_{Z_n}(s) &= \left(1 + \frac{s^2}{2n} + o(s^2)\right)^n \end{align}\]如上所示, $n \to \infty, o(s^2)$ 等同于常数. 导致无法得出原文结果.. 但其实根据史数分定理 4.3.1 带有 Lagrange 余项的泰勒展开是可以得出原文结果的, 这里使用 Lagrange 余项替代 $o$ 表示法感觉更清晰一点:
\[\begin{align} M_{Z_n}(s) &= \left(1 + \frac{s^2}{2n} + \frac{s^3}{6 \sigma^3 n^{3/2}f^{(3)}(\epsilon)} \right)^n \\ M_{Z_n}(s) &= \left( 1 + \frac{s^2}{2n} + G(n, s) \right)^n \end{align}\]现在固定 s, 如上 $G(n, s)$ 便是一个只与 n 有关的序列且 $\lim_{n\to \infty}G(n,s) = 0$. 则易得原文结论.
P.S. 原文依赖了逆极限定理, 应该与 4.4.2 一样, 都是 Laplace Transform 相关的.
P.S. 这里意味着 $M_{Z_n}(s)$ 逐点收敛到 $h(s) = e^{s^2/2}$.
习题 15, 略作补充. 事件 $\lbrace \vert Y_n - c \vert \lt \epsilon \rbrace$ 是指什么? 继续想象着一个样本空间, 其每一个元素都是一个无穷序列, 事件 $\lbrace \vert Y_n - c \vert \lt \epsilon \rbrace$ 是指这些无穷序列中第 n 项值 $a_n$ 满足条件 $\vert a_n - c \vert \lt \epsilon$ 的序列集合.
记 $a_k = P(\lbrace \vert Y_k - c \vert \lt \epsilon \rbrace), b_k = P(A_k)$ 则易证 $a_k \ge b_k, \forall k$. 即 $\lim_{k \to \infty} a_k \ge \lim_{k \to \infty} b_k$. 另外别忘了 $a_k \le 1, \forall k$, 所以可得 $\lim_{k \to \infty} a_k = 1$
记 $c_k = P(\lbrace \vert Y_k - c \vert \ge \epsilon \rbrace)$, 则 $a_k + c_k = 1, \forall k$. 所以 $\lim_{k \to \infty} = 1 - \lim_{k \to \infty} a_k = 0$.
习题 16, 略作补充. 记 $Y = \sum_{n=1}^{\infty} Y_n$, 则 Y 如何理解? 同样想象着一个样本空间, 其每一个元素都是一个无穷序列, Y 作为随机变量, 其表示着每一个无穷序列的级数和, 当级数不收敛时, $Y = \infty$. 由 $E[Y] \lt \infty$ 可知 $P(Y = \infty) = 0$. 不严谨可以由马尔可夫不等式感知一下 $P(Y \ge \infty) \le \frac{E[Y]}{\infty} = 0$.
再由分析知识可知 $Y_n$ 级数收敛则 $\lim_{n \to \infty} Y_n = 0$, 即 $P(\lim_{n \to \infty} Y_n = 0) \ge P(Y \lt \infty) = 1$.
P.S. 这里提到的单调收敛定理估计要到测度论高等概率论学习了.
习题 18, 强大数定理证明, 略作补充, 以 n = 2 时演示一下原文中几个公式:
\[E[(X_1 + X_2)^4] = E[X_1^4] + 4 E[X_1 X_2 ^ 3] + 6 E[X_1^2 X_2^2] + 4[X_1^3 X_2] + E[X_2^4]\]考虑到 $X_i$ 之间相互独立, 由 3.1.zy4 易得 $X_1^l, X_2^m$ 也相互独立, $E[X_1 X_2 ^ 3] = E[X_1] E[X_2^3] = 0$, 别忘了 $E[X] = 0$ 这个前提条件, 我一开始就忘了…
$X_i$ 都是同分布的, 易证 $E[X_1^4] = E[X_2^4], E[X_1^2 X_2^2] = E[X_1^2 X_3^2]$ 等.
如下所示, 原文怎么把 $\frac{1}{n^4}$ 提取出来了? 这不对吧.
\[E\left[\sum_{n=1}^\infty \frac{(X_1 + \dots + X_n)^4}{n^4}\right] = \frac{1}{n^4}\sum_{n=1}^\infty E[(X_1 + \dots + X_n)^4]\]正确做法, 记 $A_n = \frac{(X_1 + \dots + X_n)^4}{n^4}, a_n = E[A_n] \le \frac{3 E[X_1^4]}{n^2}$, 由级数比较判别法可知 $\sum a_n \le \sum \frac{3 E[X_1^4]}{n^2} \lt \infty$.
记 $X_n = Y_n^4$, 若已知 $P(\lim_{n \to \infty} X_n) = 0$, 则由 $\lim_{n \to \infty} Y_n = 0$ 可以推出 $\lim_{n \to \infty} X_n = 0$ 可知 $P(\lim_{n \to \infty} Y_n = 0) \ge P(\lim_{n \to \infty} X_n = 0) = 1$.
