线性代数(9): 矩阵微积分(3)

Posted by w@hidva.com on July 14, 2024

系列导言, 本文是作者在学习 Peter D. Lax 线性代数及其应用的读书笔记, 侧重于记录我当时没有看懂的部分, 以及对书中部分知识点的一些扩展. 非常零散, 不成系统. 对本系列的使用最好是读者也在学习 Peter D. Lax 线代并且恰好有某处不太明白, 可以参考着本系列说不定这里就有答案. 本系列文章在写作时参考了互联网上零零散散非常多的资料在此表示感谢!

定义 4, 设 $\lVert \cdot\lVert _M$ 为 $C^{m \times n}$ 中的矩阵范数,$\lVert \cdot\lVert _V$ 为 $C^n$ 中的向量范数。若对任意 $A \in C^{m \times n}$,$\mathbf{x} \in C^n$,总有 $\lVert A \mathbf{x}\lVert _V \leq \lVert A\lVert _M \lVert \mathbf{x}\lVert _V$ 就称矩阵范数 $\lVert \cdot\lVert _M$ 与向量范数 $\lVert \cdot\lVert _V$ 相容。 所以第 7 章定理 13 这里就证明了谱范数与向量范数是相容的.

9.3.zy6, $C^{n \times n}$ 中任意的矩阵范数 $\lVert \cdot\lVert _M$ 必存在 $C^n$ 中向量范数 $\lVert \cdot\lVert _V$ 与之相容.

证明: 取非零向量 $α \in C^n$, 定义 $\lVert x \lVert_{V} = \lVert xα^{H} \lVert_{M}, x ∈ C^{n}$, 易证其是一个合法的向量范数. 则对任意 $A ∈ C^{n × n}$, 总有 $\lVert Ax \lVert_{V} = \lVert Axα^{H} \lVert_{M} \leq \lVert A \lVert_{M} \lVert x \lVert_{V}$.

P.S. $xα^{H}, x: n \times 1, α^{H}: 1 \times n$ 其结果是 nn 矩阵.

9.3.zy5, 谱半径不超过任一矩阵范数

证明: $\forall h, Ah = ah, \lVert Ah \rVert = \vert a \vert \lVert h \lVert \le \lVert A \rVert \lVert h \rVert, h \ne 0$ 可得 $\forall a, \vert a \vert \le \lVert A \rVert$.

P.S. 针对每一个矩阵范数, 如上证明中选择的是与该矩阵范数相容的向量范数.

P.S. 由 9.3.zy5 结合 9.2.zy7 也易证 9.2.zy8.

9.3.zy9, $A = \lim_{k \to \infty} A_k, A h = \lim_{k \to \infty} (A_k h)$

证明: 这里我们选择的矩阵范数与向量范数是相容的. 此时由 $\lVert A_k h - A h \rVert \le \lVert A_k - A \rVert \lVert h \rVert$ 易证.


定义 3, 算子范数, 参考 Lax 线性代数第 15 章赋范线性空间之间的线性映射, 引理 1, 练习 1, 定理 2 了解.

P.S. 这里定理 2 未证明算子范数满足矩阵范数相容性要求, 但证明很简单.


矩阵级数, 这里我们可以参考我们之前在学习 Tao 15.6 复数时为复数级数建立的一系列概念. 从级数角度来看矩阵与复数确实好像.

矩阵级数的收敛被定义为其部分和序列收敛. 易证矩阵级数收敛当且仅当其元素级数收敛. $C^{m \times n}$ 中矩阵级数相当于 mn 个数项级数. 矩阵级数绝对收敛定义为这 mn 个数项级数绝对收敛.

9.3.zy3, $C^{m \times n}$ 中的矩阵级数 $\sum_{k=0}^{\infty}A_{k}$ 绝对收敛当且仅当对任一矩阵范数 $\lVert \cdot \lVert $,正项级数 $\sum_{k=0}^{\infty}\lVert A_{k} \lVert $ 绝对收敛。

证明 由范数等价性知, 这里我们只对矩阵的 1-范数证明定理:

(⇐) $A_{k} = (a_{ij}^{(k)})_{n \times m}$,由 $\vert a_{ij}^{(k)} \vert \le \lVert A_{k}\lVert_{1}$ 结合级数比较判别法易证.

(⇒) 由绝对收敛定义易知 $\sum_{k=0}^{\infty} \sum_{i,j=1}^{n} \left| a_{ij}^{(k)} \right|$ 收敛. 结合结合级数比较判别法以及如下不等式易证.

\[\lVert A_k \lVert _{1} = \max_{1 \leq j \leq n} \sum_{i=1}^{n} \left\| a_{ij}^{(k)} \right\| \leq \sum_{i,j=1}^{n} \left\| a_{ij}^{(k)} \right\|,\]

P.S. 就如同 Tao 定理 8.2.2 关于无限和的富比尼定理对于复数级数成立一样, 这里该定理对于矩阵级数也成立.

9.3.zy7, 若 $\sum_{k=0}^{\infty}A_{k}$ 绝对收敛, 则其一定收敛.

证明: 设 $S_N = \sum_{k=0}^{N}A_{k}$, 我们要证明 $\lim\limits_{N \to \infty} S_N$ 存在. 考虑到矩阵空间同构于 $\mathbb{R}^{mn}$ 空间, 即也是完备的. 即我们只需要证明 $S_N$ 是柯西序列即可, $\forall \epsilon, \exists N, \forall m, n \gt N, \lVert S_m - S_n \rVert \le \sum_{k=n+1}^{m} \lVert A_{k} \rVert$, 而我们已知序列 $\sum_{k=0}^N \lVert A_{k} \rVert$ 是柯西序列. 这里 $\lVert \cdot \rVert$ 为任选的矩阵范数.

P.S. 本证明核心是要证明矩阵空间是完备的. 对于复数域/实数域上的矩阵是显然的. 但是其他数域俺就不了解了.

9.3.zy4 设 $P, Q$ 为给定矩阵, 若 $\sum_{k=0}^{\infty}A_{k}$ 收敛(绝对收敛), 则 $\sum_{k=0}^{\infty}PA_{k}Q$ 也收敛(绝对收敛), 且 $\sum_{k=0}^{\infty}PA_{k}Q = P \left( \sum_{k=0}^{\infty}A_{k} \right) Q$.

证明: 设 $\sum_{k=0}^{\infty}A_{k} \rightarrow S$, 则 $\lVert \sum_{k=0}^{N}A_{k} - S \lVert \rightarrow 0$, 故

\[\begin{align} \left\lVert \sum_{k=0}^{N}PA_{k}Q - PSQ \right\lVert &= \left\lVert P \left ( \sum_{k=0}^{N}A_{k} - S \right ) Q \right\lVert \\ &\leq \lVert P \lVert \left\lVert \sum_{k=0}^{N}A_{k} - S \right\lVert \lVert Q \lVert \\ &\rightarrow 0 \end{align}\]

即得 $\lim_{N \rightarrow \infty} \sum_{k=0}^{N}PA_{k}Q = PSQ$. 若 $\sum_{k=0}^{\infty}A_{k}$ 绝对收敛, 则 $\sum_{k=0}^{\infty}\lVert A_{k} \lVert $ 收敛, 而 $\lVert PA_{k}Q \lVert \leq \lVert P \lVert \cdot \lVert A_{k} \lVert \cdot \lVert Q \lVert $, 于是 $\sum_{k=0}^{\infty} \lVert PA_{k}Q \lVert $ 也收敛, 即得 $\sum_{k=0}^{\infty} PA_{k}Q$ 绝对收敛.

9.3.zy5, $\mbox{tr}(\sum_{i=1}^{\infty} A_i) = \sum_{i=1}^{\infty} \mbox{tr}(A_i), (\sum_{i=1}^{\infty} A_i)^* = \sum_{i=1}^{\infty} (A_i)^*$.

证明: 已知 $\mbox{tr}, ()^*$ 都是一个赋范线性空间到另一个赋范空间的线性映射, 由第 15 章练习 1 可得结论.

P.S. 这里 $()^*$ 是指第 7 章定理 9 介绍的矩阵伴随运算, 不是 $adj(A)$ 这种伴随, 为啥这俩都叫伴随啊.

P.S. 对于一个特定的 x, 内积运算 $(x, h), h\in X$ 也可以看作一个赋范线性空间 X 到另一个赋范空间的映射. 即 $(x, \lim_{k\to \infty}h_k) = \lim_{k\to \infty}(x, h_k)$.

P.S. 设 A 为矩阵, 依次定义 $f_A(X) = AX, g_A(X) = XA$ 则易证这俩函数为线性函数. 即具有 9.3.zy5 类似性质.