线性代数(9): 矩阵微积分(2)

系列导言, 本文是作者在学习 Peter D. Lax 线性代数及其应用的读书笔记, 侧重于记录我当时没有看懂的部分, 以及对书中部分知识点的一些扩展. 非常零散, 不成系统. 对本系列的使用最好是读者也在学习 Peter D. Lax 线代并且恰好有某处不太明白, 可以参考着本系列说不定这里就有答案. 本系列文章在写作时参考了互联网上零零散散非常多的资料在此表示感谢!

接着上一篇文章, 这里我们继续补充下一些为了学习第 9 章所需要补充的一些知识.

定义 1, 设 $V$ 是域 $P$ 上的线性空间，如果对 $V$ 中任意向量 $x$ ，都有一个非负实数 $‖ x ‖$ 与之对应，且满足：

正定性：若 $x = 0$ 时， $‖ x ‖ = 0$ ；若 $x \neq 0$ ，则 $‖ x ‖ > 0$ ,
齐次性： $‖ λ x ‖ = | λ | ‖ x ‖, λ \in P$ ,
三角不等式： $‖ x + y ‖ \leq ‖ x ‖ + ‖ y ‖$ ,

就称 $‖ x ‖$ 是向量 $x$ 的范数，并称定义了该范数的线性空间为赋范空间。

P.S. 欧几里得空间总是赋范空间, 但赋范空间不一定是欧几里得空间. $‖ x ‖ = (x, x)$ 便是欧几里得空间合法的范数定义.

P.S. 这里 $| λ |$ 绝对值运算见绝对值

定义 2, 设 $‖ \cdot ‖_{a}$ 和 $‖ \cdot ‖_{b}$ 是线性空间 $V$ 中的两种范数，若存在正数 $M, m$ ，使对任意 $x \in V$ ，

m ‖ x ‖_{b} \leq ‖ x ‖_{a} \leq M ‖ x ‖_{b},

就称 $‖ \cdot ‖_{a}$ 与 $‖ \cdot ‖_{b}$ 等价。

P.S. 令 $c = max (M, \frac{1}{m})$ , 如上定义等同于 $\exists c, ‖ x ‖_{b} \leq c ‖ x ‖_{a}, ‖ x ‖_{a} \leq c ‖ x ‖_{b}$ .

9.2.zy1, 范数的等价关系满足反身性、对称性、传递性。证明: 显然.

9.2.zy2, 有限维线性空间 V 中任意两种范数都等价

证明: 由对称性和传递性可知只须证明任意范数都与特定范数 $‖ \cdot ‖_{a}$ 等价即可。取定 $V$ 基 $e_{1}, e_{2}, \dots, e_{n}$ ，设 $x = ξ_{1} e_{1} + ξ_{2} e_{2} + \dots + ξ_{n} e_{n}$ ，定义 $‖ x ‖_{a} = \sqrt{| ξ_{1} |^{2} + \dots + | ξ_{n} |^{2}}$ , 易证 $‖ x ‖_{a}$ 是个合法范数.

设 $‖ \cdot ‖$ 是 $V$ 中的范数，先证明 $‖ x ‖$ 是 $(ξ_{1}, \dots, ξ_{n})^{T}$ 的连续函数。设 $y = ζ_{1} e_{1} + \dots + ζ_{n} e_{n}$ ，则

\begin{aligned} 0 & \leq | ‖ x ‖ - ‖ y ‖ | \leq ‖ x - y ‖ \\ \leq ‖ ξ_{1} e_{1} + \dots + ξ_{n} e_{n} - ζ_{1} e_{1} - \dots - ζ_{n} e_{n} ‖ \\ \leq | ξ_{1} - ζ_{1} | ‖ e_{1} ‖ + \dots + | ξ_{n} - ζ_{n} | ‖ e_{n} ‖ \\ \to 0 (ξ_{k} - ζ_{k}, k = 1 \dots n) \end{aligned}

已证 $‖ x ‖$ 是 $(ξ_{1}, \dots, ξ_{n})^{T}$ 的连续函数. 注意到 $S = {(ξ_{1}, \dots, ξ_{n})^{T} ∣ ‖ x ‖_{a} = 1}$ 是有界闭集，因此 $‖ x ‖$ 在 $S$ 上有最大值 $M$ 和最小值 $m$ 。由于 $S$ 中没有零向量，于是 $m > 0$ ，即有 $m \leq ‖ x ‖ \leq M, x \in S$ .

当 $x = 0$ 时， $‖ x ‖ = ‖ x ‖_{a} = 0$ . 当 $x \neq 0$ 时， $\frac{x}{‖ x ‖_{a}} \in S$ 于是 $m \leq ‖ \frac{x}{‖ x ‖_{a}} ‖ \leq M$ 即 $m ‖ x ‖_{a} \leq ‖ x ‖ \leq M ‖ x ‖_{a}$ . 这就证明了任意范数 $‖ \cdot ‖$ 与特定范数 $‖ \cdot ‖_{a}$ 是等价的。

P.S. 如上证明在复数域/实数域上创建, 但其实对其他数域也成立.

定义 3, 矩阵范数. $C^{m \times n}$ 可以看作 mn 维线性空间, 如上结论定义对 $C^{m \times n}$ 也生效. 矩阵范数有新的要求, 相容性 $‖ A B ‖ \leq ‖ A ‖ ‖ B ‖$ .

P.S. 易证我们之前定义的 $‖ A ‖_{F}, ‖ A ‖_{2}$ 都是合法的矩阵范数. 由 9.2.zy2 可知这俩范数是等价的, 这点我们在 9.1.zy7 中也证明过.

9.2.zy3, 矩阵收敛当且仅当分量收敛.

证明: 首先由范数等价性易知矩阵以任一范数收敛都意味着以其他范数也收敛. 而针对 Frobenius 范数, 我们已经在 Tao analysis 中证明过收敛当且仅当分量收敛, Tao 命题 12.1.18.

9.2.zy4, 收敛的矩阵(向量)序列的范数有界. (任一种范数).

证明: 同实数序列收敛必有界一样证明.

9.2.zy5, 矩阵收敛运算法则

\begin{aligned} lim_{k \to \infty} (A_{k} + B_{k}) & = lim_{k \to \infty} A_{k} + lim_{k \to \infty} B_{k} \\ lim_{k \to \infty} (λ_{k} A_{k}) & = lim_{k \to \infty} λ_{k} lim_{k \to \infty} A_{k} \\ lim_{k \to \infty} (A_{k} B_{k}) & = lim_{k \to \infty} A_{k} lim_{k \to \infty} B_{k} \\ lim_{k \to \infty} A_{k}^{- 1} & = {(lim_{k \to \infty} A_{k})}^{- 1} \end{aligned}

证明: (3) 设 $A_{k} \to A$ , $B_{k} \to B$ ( $k \to \infty$ ), 则 $‖ A_{k} - A ‖ \to 0, ‖ B_{k} - B ‖ \to 0 (k \to \infty)$ . 注意 $‖ B_{k} ‖$ 有界，所以:

\begin{aligned} ‖ A_{k} B_{k} - A B ‖ & = ‖ (A_{k} B_{k} - A B_{k}) + (A B_{k} - A B) ‖ \\ \leq ‖ A_{k} - A ‖ \cdot ‖ B_{k} ‖ + ‖ A ‖ \cdot ‖ B_{k} - B ‖ \\ \to 0 (k \to \infty) . \end{aligned}

(4) 设 $A_{k} \to A$ ( $k \to \infty$ ), 则 $a_{i j}^{(k)} \to a_{i j}$ ( $k \to \infty$ )。注意到 $A_{k}^{*}, | A_{k} |$ 都是由 $a_{i j}^{(k)}$ 进行加、减、乘运算所得，于是由数列极限性质可得

\begin{aligned} lim_{k \to \infty} A_{k}^{*} = A^{*}, lim_{k \to \infty} ‖ A_{k} ‖ = ‖ A ‖ \\ lim_{k \to \infty} A_{k}^{- 1} = lim_{k \to \infty} \frac{A_{k}^{*}}{‖ A_{k} ‖} = {(lim_{k \to \infty} A_{k})}^{- 1} \end{aligned}

P.S. 这里 $A_{k}^{*}$ 是我们在 6.2.zy1 中介绍的 adj(A) 矩阵, 不是伴随矩阵的标记…

P.S. 其实很像我们在 Tao 定理 15.6.14 复数的极限定律中的证明.

9.2.zy7, $A^{k} \to O (k \to \infty)$ 当且仅当 A 所有特征值的模都小于 1.

证明: 设 $A = Q J Q^{- 1}$ , J 为 A 的 Jordan 标准形, 易证 $A^{k} \to O (k \to \infty)$ 当且仅当 $J^{k} \to O (k \to \infty)$ , 根据 6.6.zy1 我们可得特征值 $λ_{0}$ 对应的 Jordan 块 k 次方 $J_{0}^{k}$ :

J_{0}^{k} = {(\begin{matrix} λ_{0}^{k} & k λ_{0}^{k - 1} & \dots & (\binom{k}{r - 1}) λ_{0}^{k - r + 1} \\ λ_{0}^{k} & ⋱ & ⋮ \\ ⋱ & k λ_{0}^{k - 1} \\ λ_{0}^{k} \end{matrix})}_{r \times r}

即 $lim_{k \to \infty} J^{k} = O ⟺ | λ | < 1, \forall λ$ , 这里 $λ$ 为 A 特征值.

P.S. 考虑到谱半径的定义, 这里意味着 A 的谱半径小于 1.

9.2.zy8, $‖ A ‖ < 1 \to A^{k} \to O (k \to \infty)$

证明: $A^{k} \to O (k \to \infty)$ 即 $lim_{k \to \infty} ‖ A^{k} - O ‖ = 0$ , 由 $‖ A^{k} ‖ \leq ‖ A ‖^{k}$ 易得结论.

P.S. 反过来若 $A^{k} \to O$ 则无法证明 $‖ A ‖ < 1$ .

CATALOG