系列导言, 本文是作者在学习 Peter D. Lax 线性代数及其应用的读书笔记, 侧重于记录我当时没有看懂的部分, 以及对书中部分知识点的一些扩展. 非常零散, 不成系统. 对本系列的使用最好是读者也在学习 Peter D. Lax 线代并且恰好有某处不太明白, 可以参考着本系列说不定这里就有答案. 本系列文章在写作时参考了互联网上零零散散非常多的资料在此表示感谢!
这里我们先额外补充下本书没有介绍的 Frobenius 范数. 对于 mn 矩阵我们可以将其视为 $\mathbb{R}^{m \times n}$ 中元素, Frobenius 范数就是欧几里得空间内积, 即 $ B = (b_{ij}), \lVert B \rVert_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n b_{ij}^2}$. 也就是如果从 Frobenius 范数来观察矩阵, 其就等同于我们多元微积分学过的 $\mathbb{R}^{m \times n}$ 欧几里得空间. 之后再介绍一点奇异值信息, 基于奇异值我们可以得到谱范数与 Frobenius 范数之间关系, 最终得出结论以谱范数收敛当且仅当以 Frobenius 范数收敛.
9.1.zy3, 设 T 是线性空间 V 到自身的线性映射. 求证: $\ker(T)^\perp= \mbox{Im}(T^*)$
证明: 如下所示: $\ker T = (\mbox{Im} T^*)^\perp$.
\[\begin{align} x \in \ker T &\iff Tx = 0 \\ &\iff \langle Tx,y\rangle= 0, \forall y \in V \\ &\iff \langle x,T^*y\rangle= 0, \forall y \in V \\ &\iff x \perp \operatorname{Im} T^* \\ &\iff x \in (\operatorname{Im} T^*)^\perp \end{align}\]P.S. 若 R 为 V 到自身的自伴随映射, 此时意味着 $V = \ker(R) \oplus \mbox{Im}(R)$ 即 $\ker(R) \cap \mbox{Im}(R) = {0}$.
9.1.zy4, X, Y 是具有相同的维度的有限维欧几里得空间, 则 X, Y 之间存在等距映射.
证明: 由第 7 章定理 4 格拉姆-施密特方法在 X, Y 中选择标准正交基 $a_i, b_i, i=1\cdots n$. 则对于 $\forall x \in X, x = \sum_i x_i a_i$, 定义映射 $f(x) = \sum_i x_i b_i$. 易证 f 满足要求.
P.S. 越写越熟悉, 翻了下在 几何学基础 中证明过..
摘自第 10 章部分内容.
定理 1(vi), 这里我理解准确描述应该是若 R 是自伴随矩阵且 $R^2 = H$ 且 R 是正定的, 则 R 是唯一的.
证明: 设 H 有 k 个不同的特征值 $a_1, \cdots, a_k$ 其对应本征空间分别式 $N_i, i = 1\cdots k$. 由第 8 章公式 (27) 可知 $X = \bigoplus_{i=1}^k N_i$. 已知 $R^2 = H$ 易证若 $b_i$ 是 R 的特征值, 则 $a_i = b_i^2$ 是 H 的特征值. 设 R 有 m 个不同的特征值, 则易证 $m \le k$. 令 $M_i$ 表示 $b_i$ 对应的本征空间, $\forall h \in M_i, Rh = b_i h, H h = b_i^2 h, h \in N_i$ 即 $M_i \subseteq N_i$. 此时 $X = \bigoplus_{i=1}^k N_i = \bigoplus_{i=1}^m M_i$, 易证 $m = l, M_i = N_i$, 由第 8 章公式 (27’) 可知 R 对应的 $P_j$ 与 H 对应的 $P_j$, 结合 R 的特征值是确定的, 即所有满足条件的 R 具有相同的谱分解, 即由公式 (30) 可知 R 是唯一的.
P.S. 原文这个叙述让我产生了一个误解若矩阵 $R^2 = H$, 则 R 一定是自伴随的, 举个反例:
\[H = \begin{pmatrix} a & 0 \\ 0 & a \end{pmatrix} \quad R = \begin{pmatrix} \sqrt{a} & 0 \\ 1 & -\sqrt{a} \end{pmatrix}\]但在尝试这个猜想的过程中, 我们仍然得到了一些结论, 这里记录下.
9.1.zy1, 若 a 是 R 的特征值, 则 $a^2$ 是 H 的特征值.
P.S. 考虑到 H 正定, 由此可知 $a \ne 0$.
P.S. 即 R 可逆, 若 R 不可逆, 则 0 是 R 的特征值, 矛盾了.
9.1.zy2, R 的特征向量都是真正的本征向量.
证明: 假设 $(R - aI)^2 h = 0$, 即 $R^2 h - 2aRh + a^2h = 0$, 即 $Hh = R(ah) = R(Rh)$, 考虑到 R 可逆, 这意味着 ah = Rh.
设 $(R - aI)^d h = 0$ 则 $(R - aI)^2 ((R - aI)^{d-2} h) = 0$ 即 $(R-aI)((R - aI)^{d-2} h) = 0$ 即 $(R - aI)^{d-1} h = 0$, 递推下去可得 Rh = ah.
(vii) 证明, 这里技巧类似史数分定理 9.11.5 的证明, 这里已知 $(x, Hx) \ge a \lVert x \rVert^2, \vert (x, Mx)\vert \lt a \lVert x \rVert^2$ 这意味着 $(x, Hx) + (x, Mx)$ 总是大于 0 的.
(viii) 证明: $\lim_{n\to +\infty} \lVert (H_n x_0, x_0) - (K x_0, x_0) \rVert = \lim_{n\to +\infty} \lVert ((H_n - K)x_0, x_0) \rVert $, 这里 $0 \le \lVert ((H_n - K)x_0, x_0) \rVert \le \lVert H_n - K \rVert \lVert x_0 \rVert^2$, 而已知 $\lim_{n \to +\infty}\lVert H_n - K \rVert = 0$, 所以可得结论.
定理 22, 这里 略作补充
- V 是等距线性映射. 且其值域等于 $\mbox{Im}(A^*)$.
证明: 若 $R x_1 = R x_2 = u_0, V u_0$ 可以为 $A^* x_1, A^* x_2$. 由之前信息可知 $A^* x_1 = A^* x_2$, 所以 V 是一个合法的映射. 易证 V 也是一个线性映射.
由 V 定义可知 $\mbox{Im}V \subseteq \mbox{Im}(A^*), \forall y \in \mbox{Im}(A^*), \exists x, A^* x = y, u = R x, V u = y$ 即 $\mbox{Im}(A^*) \subseteq \mbox{Im}V$. 即 V 是 $\mbox{Im}(R), \mbox{Im}(A^*)$ 的线性同构.
- 从而可以扩充为整个空间上的酉映射.
证明: 已知 $\ker(R) = \ker(A^*)$. 结论 9.1.zy3 可知 $\mbox{Im}(R^*) = \ker(R^*)^\perp = \ker(A^*)^\perp$. 如下公式位于同一列的集合要么相等, 要么同构. 比如 $\mbox{Im}(R) = \mbox{Im}(R^*)$ 以及 $\mbox{Im}(A), \mbox{Im}(A^*)$ 同构.
\[\begin{array}{l} & &\mbox{Im}(R) & &\ker(R) \\ & &\mbox{Im}(R^*) & &\ker(R^*) \\ X &= &\ker(A^*)^{\perp} &\oplus &\ker(A^*) \\ & &\mbox{Im}(A) & &\mbox{Im}(A)^{\perp} \\ & &\updownarrow V & &\updownarrow V_1 \\ & &\mbox{Im}(A^*) & &\mbox{Im}(A^*)^{\perp} \\ X &= &\ker(A)^{\perp} &\oplus &\ker(A) \\ \end{array}\]由上可知 $\ker(A^*), \ker(A)$ 同构, 由 9.1.zy4 可知存在等距线性映射 $V_1$. 定义 $V_2(x) = V(x_1) + V_1(x_2)$ 这里 $x = x_1 + x_2, x_1 \in \ker(A^*)^{\perp}, x_2 \in \ker(A^*)$. 易证 $V_2$ 是个等距线性映射.
易证 $\forall x_0 \in X, A^* x_0 = V_2(R(x_0)) = V(R(x_0))$, 即 $A^* = V_2 R$.
P.S. 这一句话让我思考了好久..
9.1.zy5, A 的谱范数 $\lVert A \rVert_2$ 为 A 最大奇异值. 由定理 13 可证.
9.1.zy8, 若 N 是正规矩阵, 则其谱半径 $\rho(N) = \lVert N \rVert_2$. 证明: 由 8.3.zy5, 9.1.zy5 易证.
9.1.zy7, $\lVert A \rVert_F = \lVert AQ \rVert_F = \lVert PA \rVert_F$, 这里 P, Q 为酉矩阵.
证明: 主要利用了酉矩阵是等距映射, 会保持内积不变. $A = (c_1, \cdots, c_n), \lVert A \rVert_F = \sum_j (c_j, c_j)$ 且 $\lVert PA \rVert_F = \sum_j (Pc_j, Pc_j)$.
9.1.zy6, A 的 Frobenius 范数 $\lVert A \rVert_F = \sqrt{\sum_{i=1}^r c_i^2}$, 这里 $c_i$ 为 A 的奇异值.
证明: 在 A 的奇异值分解中 $A = WDV, \lVert A \rVert_F = \lVert D \rVert_F$, D 为对角矩阵可得结论.
9.1.zy7, $\lVert A \rVert_2 \le \lVert A \rVert_F \le \sqrt{n} \lVert A \rVert_2$. 这里 n 为 A 的列数. 所以以谱范数收敛当且仅当以 Frobenius 范数收敛.
