线性代数(9): 矩阵微积分(5)

Posted by w@hidva.com on July 14, 2024

系列导言, 本文是作者在学习 Peter D. Lax 线性代数及其应用的读书笔记, 侧重于记录我当时没有看懂的部分, 以及对书中部分知识点的一些扩展. 非常零散, 不成系统. 对本系列的使用最好是读者也在学习 Peter D. Lax 线代并且恰好有某处不太明白, 可以参考着本系列说不定这里就有答案. 本系列文章在写作时参考了互联网上零零散散非常多的资料在此表示感谢!

在经过前 N 篇前提知识点补充之后, 我才终于踏上第 9 章的土地…

对于矩阵值函数 $x(t)$, 此时 t 是实变量, 即给定一个 t 输出一个矩阵. 由前一节内容可知这里公式 (1)’ 定义的 $x’(t)$ 等同于将 $x(t): \mathbb{R} \to \mathbb{R}^{m \times n}$ 多元微积分.

$\frac{d}{dt}l(x(t)) = l(\frac{d}{dt}x(t))$

证明: 这里 $l: \mathbb{R}^{mn} \to \mathbb{R}$ 线性函数, 此时 $Jl(x_0) = l$. $x(t): \mathbb{R} \to \mathbb{R}^{mn}$. 令 $h = l \circ x$, 此时 $Jh(t_0) = Jl(x(t_0)) Jx(t_0) = l(Jx(t_0))$, 也就是原文这种表现形式了.

定理 2, 证明 $A(t) A^{-1}(t) = I$ 即 $(A(t) A^{-1}(t))’ = 0$ 使用乘法法则可得结论.

P.S. 这里 $A^{-1}(t)$ 我一开始意味着是 $A(t)$ 的逆映射. “可逆的” 我一开始意味着是存在逆映射…

定理 3(a) 一定要注意这里成立的前提是在特定的 $t=t_0$ 处, 而不是对于任意 t, 这里 $t_0$ 满足 $A(t), A’(t)$ 可交换.

定理 3(b) 证明:

\[\begin{align} \frac{d}{dt} \mbox{tr}(p(A)) &= \frac{d}{dt} \mbox{tr}(\sum_{i=0}^n a_i A^i) = \mbox{tr}(\frac{d}{dt} \sum_{i=0}^n a_i A^i) \\ &= \mbox{tr}(\sum_{i=0}^n a_i \frac{d}{dt} A^i) = \sum_{i=0}^n a_i \mbox{tr}(\frac{d}{dt} A^i) \\ &= \sum_{i=0}^n a_i i \mbox{tr}(A^{i-1} A') = \mbox{tr}(\sum_{i=0}^n a_i i A^{i-1} A') \\ &= \mbox{tr}(A'p'(A)) = \mbox{tr}(p'(A) A') \end{align}\]

公式 (7) 这里 M 类似是 $\mathbb{R}^{kk} \to \mathbb{R}$ 线性映射, 这里 $x_i(t): \mathbb{R} \to \mathbb{R}^k$, 我一开始意味着 $x_i: \mathbb{R} \to \mathbb{R}$… 同样这里也可以利用复合函数求导得到结论.


定理 4, 略作补充

  • $\left. \frac{d}{dt} \ln \det Y(t) \right|_{t=0} = [\det Y(0)]^{-1} \left. \frac{d}{dt} \det Y(t) \right|_{t=0}$

证明: 这是因为 $\frac{d}{dt} \ln \det Y(t) = [\det Y(t)]^{-1} \frac{d}{dt} \det Y(t)$. 我给忘了 $\ln’(x) = 1/x$ 了..

  • 该式不依赖取值 $t = 0$, 为啥可以这样说?

解: 欲求 $(\det Y(t_0))^{-1} \left. \frac{d}{dt} \det Y(t) \right|_{t=t_0} = \mbox{tr}[Y^{-1}(t_0)Y’(t_0)]$, 令 $X(t) = Y(t_0)^{-1} Y(t)$ 很明显 $X(t_0) = I$. 究酱新的循环开始了, 此时 $\left. \frac{d}{dt} \det X(t) \right|_{t=t_0} = \mbox{tr}(X’(t_0))$, 直接用公式 (8) 计算.


定理 5, 求证 $e^A = \sum_{k=0}^{\infty}\frac{A^k}{k!}$ 收敛.

证明: 令 $K = \lVert A \rVert$, 即 K 是一个实数, 由 Tao 定理 15.5.2 可知 $e^K$ 是绝对收敛的. 令 $e_m(K)$ 表示部分和序列, 可知其是个柯西序列, 即 $\exists N, \forall l, m \gt N, \sum_{k=l+1}^m \frac{K^k}{k!} \lt \epsilon$.

序列 $e_m(A)$ 是个矩阵序列, 由上一节我们已知在谱范数情况下其也等同于 $\mathbb{R}^{mn}$ 欧几里得空间, 即此时度量空间 $(X, \lVert \rVert_2)$ 是完备的, 这里 X 表示所有 mn 矩阵集合. 所以只需要证 $e_m(A)$ 是个柯西序列即可. 回到原文公式 (13)’ 由 $\sum_{k=l+1}^m \frac{\lVert A \rVert^k}{k!} = \sum_{k=l+1}^m \frac{K^k}{k!}$ 易证得结论.

P.S. 这里我们可以参考我们之前在学习 Tao 15.6 复数时为复数级数建立的一系列概念. 此时绝对收敛的概念可以是 $\sum_{i=1}^{\infty} \lVert A \rVert$ 收敛, 从级数角度来看矩阵与复数确实好像.

P.S. 我是在看到这里之后觉得这本书关于矩阵级数部分信息太少, 又去了解下其他资料书写补充了前 N 篇文章. 利用前一篇文章中与级数相关的结论这里证明是显然的.

定理 5(a), 参考我们在 Tao 习题 15.6.16 我们证明复数 exp(z+w) = exp(z)exp(w) 的例子.

练习 4, 利用 9.4.zy5 以及 Tao analysis ii 习题 3.7.2 即可.

P.S. 我理解这里 $E_m’(t)$ 应该是连续的. 主要是如上证明我们仅证明了 $f: R \to \mathbb{R}^n$ 所有偏导数 $\frac{\partial f_i}{\partial t}$ 是存在的, 根据 Tao analysis ii 定理 6.3.8 可知这里还必须要求偏导数是连续的, 才可以推出 $f$ 全导数存在. 纵观第 9 章有一种感觉是 Lax 默认这里提到的所有函数总是连续可微的. 以下面定理 7 证明为例, 其就隐式地依赖了这一事实.

定理 5(c) 证明: 对于任意一点 $t_0$ 其构成的闭区间 $[t_0, t_0]$, 很显然 $\lVert A(t) \rVert, \lVert A’(t) \rVert$ 在该区间上有界, 令 $R = \max(\lVert A’(t) \rVert, \lVert A(t) \rVert)$. 接下来使用 9.4.zy6 Weierstrass M-Test 可证 $E_m(t)$ 一致收敛到 $e^{A(t)}$. 对于 $E_m’(t) = \sum_{k=0}^m \frac{1}{k!} (A^k(t))’$ 这里由公式 (5) 可知 $\lVert (A^k(t))’ \rVert \le k \lVert A’(t) \rVert \lVert A(t) \rVert^{k-1} \le kR^k$. 所以 $\lVert \frac{1}{k!} (A^k(t))’ \rVert \le R \frac{R^{k-1}}{(k-1)!}$, 其符合 9.4.zy6 Weierstrass M-Test. 所以 $E_m’(t)$ 也是一致收敛. 至此满足了练习 4 的条件.

P.S. 这里考察单点构成的闭区间从而使得有界是显然的, 让我感到有点心虚…


练习 6, 这里 Y(t) 写作 $Y(t) = e^{tA}$ 更为合适, 其中 $g(t) = tA$, A 是某一固定的矩阵, g(t) 返回矩阵标量数乘之后的结果. 易求得 $g’(t) = A, g(t), g’(t)$ 总是可交换的. 即 $Y’(t) = e^{tA} A $. 代入公式 (10) 可得 $\frac{d}{dt} \ln \det Y(t) = \mbox{tr}[e^{-tA} e^{tA} A] = \mbox{tr}(A)$. 记 $f(t) = \ln \det Y(t), f’(t) = \mbox{tr}(A)$. 则 $\int_0^t f’(t) dt = \int_0^t \mbox{tr}(A) dt = \mbox{tr}(A) t = f(t) - f(0)$. 即得 $\det Y(t) = e^{t \mbox{tr} A}$.

P.S. 这里 A 不再是 $A(t)$ 的缩写, 而就是一个常数矩阵.

练习 7 证明: 设 $A = Q^{-1} J Q$, 则由 9.3.zy5 易证 $e^A = Q^{-1} e^J Q$, 即 $e^A, e^J$ 相似. 所以不失一般性, 这里我们仅考虑 A 为 Jordan 标准形的情况. 由 矩阵与数值计算 可知 $e^A$ 为上三角矩阵, 由第 7 章练习 1 可知其特征值即主对角线元素取值. 命题得证.