Lecture 12: Invariant Subspaces (不变子空间) and eigenvalues with eigenvectors (特征值与特征向量)

43 分钟阅读

1. Introduction

Chapter 3 研究的是从 VV 到 WW 的线性映射,两个空间可以不同。从本讲开始,我们把注意力收缩到一个特殊但也是全课程最重要的情形,即算子,也就是从 VV 到自身的线性映射。

回顾 定义 5.1,算子的记号是 L(V)=L(V,V)\mathcal{L}(V) = \mathcal{L}(V, V)。lecture 8 曾解释过算子为什么会成为后续内容的主角,那里的理由从本章开始兑现:

  • 算子可以自己乘自己,T2,T3,…T^2, T^3, \dots 都有意义,于是多项式可以作用于算子(lecture 13);
  • dim⁡V=dim⁡W\dim V = \dim W 自动成立,于是 lecture 8 的 定理 3.65 对算子无条件适用;
  • 定义域与值域共用一组基,矩阵是方阵,于是”对角化”这类问题才有意义(lecture 14)。

本章要回答的问题是:一个算子 T∈L(V)T \in \mathcal{L}(V) 长什么样?

这个问题看起来含糊,但它的意图很明确。算子把 VV 送到自己,所以我们有资格问,能不能把 VV 拆成几块,使得 TT 在每一块上的行为都很简单。如果

V=U1⊕⋯⊕Um,V = U_1 \oplus \dots \oplus U_m,

并且 TT 把每个 UjU_j 都映进 UjU_j,那么研究 TT 就化归为研究每个小的 T∣UjT|_{U_j}。而 UjU_j 比 VV 小,所以这些限制应该更容易处理。

这个想法是本章的全部内容,只是需要把”TT 把 UjU_j 映进 UjU_j“这个条件讲清楚,并且找出最简单的 UjU_j。前者给出不变子空间,后者给出特征向量。本章的学习目标是三条:

  • 不变子空间;
  • 特征值与特征向量,以及特征空间;
  • 每个有限维复向量空间上的算子都有特征值,并且有上三角矩阵(这两条留到 lecture 13)。

2. Invariant Subspace

2.1 什么是不变

不变,什么是不变?在日常生活中,我们说一个东西没有变,必须先给出两样东西,即研究对象与变换法则:

  • 一个杯子从早上放到晚上,它的位置、材质、从属关系(研究对象)在时间流逝(变换法则)的作用下是不变的;
  • 一个人从北京坐车到上海,TA 的名字、性格、身份(研究对象)在位置变换(变换法则)的作用下是不变的。

回想一下,讨论子空间的时候,我们的研究对象是什么,变换法则又是什么?

答案显而易见,研究对象是子空间里的向量,变换法则是一个映射。于是”子空间在变换下不变”这句话可以被精确化:子空间里的每个向量,变换之后仍然落在这个子空间里。

2.2 Definition: invariant subspace (5.2)

Definition 5.2 (invariant subspace)
设 T∈L(V)T \in \mathcal{L}(V)。VV 的子空间 UU 称为在 TT 下不变 (invariant under TT),如果对每个 u∈Uu \in U 都有 Tu∈UTu \in U。

换句话说,UU 在 TT 下不变,当且仅当 T∣UT|_U 是 UU 上的算子。

2.3 为什么要定义”不变”

讲义 page 4 到 page 5 的英文解释可以浓缩成一个因果链,值得完整走一遍。

出发点:设 T∈L(V)T \in \mathcal{L}(V),而 VV 有一个直和分解

V=U1⊕U2⊕⋯⊕Um,V = U_1 \oplus U_2 \oplus \dots \oplus U_m,

其中每个 UjU_j 都是 VV 的真子空间。如果我们要理解 TT,一个办法是分别理解每个 T∣UjT|_{U_j},因为 UjU_j 比 VV 小。

这里出现了一个漏洞:T∣UjT|_{U_j} 作为函数当然可以定义,但它的陪域是 VV 而不是 UjU_j。如果 TT 把某个 u∈Uju \in U_j 送到 UjU_j 外面,那 T∣UjT|_{U_j} 就不是 UjU_j 上的算子,我们也就不能对它取平方、不能对它用 lecture 13 的多项式工具。而”能取幂”恰恰是算子理论比一般线性映射理论丰富的原因。

补救:所以我们只考虑那些让 TT 保持在自己内部的分量 UjU_j。给这类子空间一个名字,就得到了 定义 5.2。

一句话总结这条因果:为了能对”限制”继续使用算子的全部工具,我们必须要求限制之后仍是算子,于是需要不变子空间这个概念。

2.4 Example: subspace invariant under differentiation operator (5.3)

Example 5.3
设 T∈L(P(R))T \in \mathcal{L}(\mathcal{P}(\mathbf{R})) 定义为 Tp=p′Tp = p'。则 P4(R)\mathcal{P}_4(\mathbf{R}) 在 TT 下不变,因为若 pp 的次数不超过 44,则 p′p' 的次数也不超过 44。

为什么这个例子值得留意? 它说明**“次数上限”是一道天然的屏障**。求导把次数降一,绝不会抬高,所以每个 Pm(R)\mathcal{P}_m(\mathbf{R}) 都是不变子空间。反过来,若换成乘 xx(即 (Tp)(x)=xp(x)(Tp)(x) = xp(x)),次数会升一,P4(R)\mathcal{P}_4(\mathbf{R}) 就不在它下不变,因为次数上限挡不住上升。

2.5 Example: four invariant subspaces (5.4)

Example 5.4 (four invariant subspaces, not necessarily all different)
设 T∈L(V)T \in \mathcal{L}(V)。则下列子空间都在 TT 下不变。

  • {0}\{0\}。若 u∈{0}u \in \{0\},则 u=0u = 0,故 Tu=0∈{0}Tu = 0 \in \{0\}。
  • VV。若 u∈Vu \in V,则显然 Tu∈VTu \in V。
  • null T\text{null } T。若 u∈null Tu \in \text{null } T,则 Tu=0∈null TTu = 0 \in \text{null } T。
  • range T\text{range } T。若 u∈range Tu \in \text{range } T,则 u=Tvu = Tv 对某个 vv 成立,故 Tu=T(Tv)∈range TTu = T(Tv) \in \text{range } T。

这四条是”便宜货”,对任何算子都成立,因此几乎没有信息量。于是引出本章真正的问题:

除了 {0}\{0\} 与 VV 之外,算子 TT 是否一定还有别的、真正小的不变子空间?

这个问题的答案并不平凡,而且依赖于域与维数。lecture 13 的 定理 5.47 会证明:当 F=C\mathbf{F} = \mathbf{C} 时答案是肯定的(只要 dim⁡V>1\dim V > 1);而 R\mathbf{R} 上的情形还需要附加条件。

为什么不能指望 null T\text{null } T 与 range T\text{range } T 回答这个问题? 因为当 TT 可逆时 null T={0}\text{null } T = \{0\} 而 range T=V\text{range } T = V,这两个恰好都是我们要排除的平凡情形。所以必须另找不变子空间。

2.6 一维不变子空间:特征概念的来源

现在转向最简单的一类非平凡不变子空间,也就是一维的那些。

取 v∈Vv \in V 且 v≠0v \neq 0,令 U={λv:λ∈F}=span(v)U = \{\lambda v : \lambda \in \mathbf{F}\} = \text{span}(v)。则 UU 是一维子空间,并且 VV 的每个一维子空间都可以这样写。

关键观察:若 UU 在 TT 下不变,则 Tv∈UTv \in U,于是存在 λ∈F\lambda \in \mathbf{F} 使 Tv=λvTv = \lambda v。反之,若对某个 λ∈F\lambda \in \mathbf{F} 有 Tv=λvTv = \lambda v,则 span(v)\text{span}(v) 是一维不变子空间。

于是得到一条等价关系,左边是几何对象,右边是方程的解:

dim⁡U=1 的不变子空间 U⟷满足 Tv=λv 的 (λ,v).\dim U = 1 \text{ 的不变子空间 } U \quad\longleftrightarrow\quad \text{满足 } Tv = \lambda v \text{ 的 } (\lambda, v).

方程 Tv=λvTv = \lambda v 之所以值得单独命名,是因为它刻画了算子在一维上最简的行为。事实上,算子在一维子空间上的行为只能有一种,即”乘以某个数”,因为一维空间里的线性映射就是数乘。

3. eigenvector and eigenvalue

3.1 Definitions

Definition 5.5 (eigenvalue)
设 T∈L(V)T \in \mathcal{L}(V)。数 λ∈F\lambda \in \mathbf{F} 称为 TT 的特征值 (eigenvalue),如果存在 v∈Vv \in V 使 v≠0v \neq 0 且 Tv=λvTv = \lambda v。

为什么要求 v≠0v \neq 0? 因为对每个标量 λ\lambda 都有 T0=λ0T0 = \lambda 0。若允许 v=0v = 0,任何 λ\lambda 都满足定义,这个概念就毫无内容。排除零向量,才把”λ\lambda 是特征值”变成一条真正的限制。

术语来历:eigenvalue 一词一半德语一半英语。德语的 eigen 意为”自己的”,指刻画某种内在属性的、本己的。有些数学家改用 characteristic value,中文”特征值”正是后者的直译。

上一节的分析可以写成一句话:

 T 有特征值   ⟺  V 有一维的不变子空间. \boxed{\ T \text{ 有特征值 } \iff V \text{ 有一维的不变子空间}.\ }

Example 5.6
定义 T∈L(F3)T \in \mathcal{L}(\mathbf{F}^3) 为 T(x,y,z)=(7x+3z, 3x+6y+9z, −6y)T(x,y,z) = (7x+3z,\ 3x+6y+9z,\ -6y)。则

T(3,1,−1)=(18,6,−6)=6(3,1,−1),T(3,1,-1) = (18,6,-6) = 6(3,1,-1),

故 66 是 TT 的特征值。

这个例子是”验证”型的,只需代入。但它也提示了一个实际困难:我们是怎么找到 (3,1,−1)(3,1,-1) 的? 定义只告诉我们如何检验,没有告诉我们如何寻找。这一点在 lecture 13 会被证明是本质性的,即不存在一般的求特征值公式。

Definition 5.8 (eigenvector)
设 T∈L(V)T \in \mathcal{L}(V),λ∈F\lambda \in \mathbf{F} 是 TT 的特征值。向量 v∈Vv \in V 称为 TT 的对应于 λ\lambda 的特征向量 (eigenvector),如果 v≠0v \neq 0 且 Tv=λvTv = \lambda v。

因为 Tv=λvTv = \lambda v 当且仅当 (T−λI)v=0(T - \lambda I)v = 0,所以

v 是 T 对应于 λ 的特征向量  ⟺  v∈null(T−λI) 且 v≠0.v \text{ 是 } T \text{ 对应于 } \lambda \text{ 的特征向量} \iff v \in \text{null}(T - \lambda I) \text{ 且 } v \neq 0.

这个改写很关键,它说明特征向量就是某个特定映射的零空间里的非零向量。于是”找特征向量”变成”求零空间”,而零空间是子空间、有维数、可以用 lecture 6 的工具分析。这正是 lecture 14 引入特征空间的动机。

Theorem 5.7 (equivalent conditions to be an eigenvalue)
设 VV 有限维,T∈L(V)T \in \mathcal{L}(V),λ∈F\lambda \in \mathbf{F}。则下列条件等价。

  • (a) λ\lambda 是 TT 的特征值;
  • (b) T−λIT - \lambda I 不是单射;
  • (c) T−λIT - \lambda I 不是满射;
  • (d) T−λIT - \lambda I 不可逆。

证明:(a)   ⟺  \iff (b)。方程 Tv=λvTv = \lambda v 与 (T−λI)v=0(T - \lambda I)v = 0 是同一件事,于是”存在 v≠0v \neq 0 使 (T−λI)v=0(T-\lambda I)v = 0“正是”T−λIT - \lambda I 不是单射”(由 定理 3.15)。

(b)   ⟺  \iff (c)   ⟺  \iff (d)。由 定理 3.65:有限维且定义域与陪域同维数时,单射、满射、可逆三者等价。■\blacksquare

这条定理是本章最有用的工具之一,因为它把”存在某个非零向量”这个存在性条件,换成了”T−λIT - \lambda I 不可逆”这个关于算子本身的条件。后者不再提到具体向量,因此可以用算子层面的工具处理;而且它把”求特征值”变成了”求使 T−λIT - \lambda I 退化的那些 λ\lambda”。

注意假设:定理要求 VV 有限维,因为 (b)(c)(d) 的等价依赖 定理 3.65。无限维情形下 T−λIT - \lambda I 可以既单又不满,lecture 13 的 例子 5.20 就是这样。

Example 5.9
设 T∈L(F2)T \in \mathcal{L}(\mathbf{F}^2) 定义为 T(w,z)=(−z,w)T(w,z) = (-z, w)。

(a) 情形 F=R\mathbf{F} = \mathbf{R}。 此时 TT 是 R2\mathbf{R}^2 中绕原点逆时针旋转 90∘90^\circ。一个算子有特征值,当且仅当存在非零向量被送到自己的标量倍数。而把非零向量逆时针旋转 90∘90^\circ 不可能得到与它共线的向量。所以 TT 没有特征值,也没有特征向量。

(b) 情形 F=C\mathbf{F} = \mathbf{C}。 要找使 T(w,z)=λ(w,z)T(w,z) = \lambda(w,z) 有非零解的 λ\lambda,即方程组

−z=λw,w=λz.(5.10)-z = \lambda w, \qquad w = \lambda z. \tag{5.10}

把第二式的 ww 代入第一式得 −z=λ2z-z = \lambda^2 z。这里 z≠0z \neq 0(否则 (5.10)(5.10) 给出 w=0w = 0),故 −1=λ2-1 = \lambda^2,解得

λ=i,λ=−i.\lambda = i, \quad \lambda = -i.

对应于 ii 的特征向量是 (w,−wi)(w, -wi)(w∈Cw \in \mathbf{C},w≠0w \neq 0);对应于 −i-i 的特征向量是 (w,wi)(w, wi)(w∈Cw \in \mathbf{C},w≠0w \neq 0)。

这个对比是本章最值得记住的例子。同一个映射,同一个矩阵,只因为把标量域从 R\mathbf{R} 换成 C\mathbf{C},特征值就从”没有”变成”有两个”。 这说明特征值的存在性不是几何事实,而是代数事实,取决于方程 λ2+1=0\lambda^2 + 1 = 0 在所给域中有没有解。

3.2 eigenvectors are linearly independent

本小节给出两种证明。第一种是 Axler 的(最小反例),第二种是数学归纳法。两种证明的核心动作相同,都值得看。

Theorem 5.11 (linearly independent eigenvectors)
设 T∈L(V)T \in \mathcal{L}(V)。则 TT 的、对应于互不相同特征值的任意一族特征向量都是线性无关的。

证明一(Axler,最小反例)

设结论不成立。则存在一个最小的正整数 mm,使得存在线性相关的特征向量列表 v1,…,vmv_1, \dots, v_m,对应特征值 λ1,…,λm\lambda_1, \dots, \lambda_m 互不相同(特征向量非零,故 m≥2m \ge 2)。于是存在 a1,…,am∈Fa_1, \dots, a_m \in \mathbf{F} 使

a1v1+⋯+amvm=0.(5.12)a_1v_1 + \dots + a_mv_m = 0. \tag{5.12}

这些系数都不能为零:若某个 ak=0a_k = 0,(5.12)(5.12) 就给出长度为 m−1m-1 的同类线性相关列表,与 mm 的最小性矛盾。

对上式两边作用 T−λmIT - \lambda_m I。因为 (T−λmI)vm=0(T - \lambda_m I)v_m = 0,而 (T−λmI)vk=(λk−λm)vk(T - \lambda_m I)v_k = (\lambda_k - \lambda_m)v_k(k<mk < m),得

a1(λ1−λm)v1+⋯+am−1(λm−1−λm)vm−1=0.a_1(\lambda_1 - \lambda_m)v_1 + \dots + a_{m-1}(\lambda_{m-1} - \lambda_m)v_{m-1} = 0.

因为特征值互不相同且各 ak≠0a_k \neq 0,每个系数 ak(λk−λm)a_k(\lambda_k - \lambda_m) 都非零。这给出长度为 m−1m-1 的、线性相关的、对应互不相同特征值的特征向量列表,与 mm 的最小性矛盾。■\blacksquare

证明二(数学归纳法)

对 mm 归纳。m=1m = 1 时,单个非零向量线性无关。

设结论对 m−1m-1 成立,并设

a1v1+⋯+amvm=0.(5.13)a_1v_1 + \dots + a_mv_m = 0. \tag{5.13}

同样对上式两边作用 T−λmIT - \lambda_m I,得

a1(λ1−λm)v1+⋯+am−1(λm−1−λm)vm−1=0.a_1(\lambda_1 - \lambda_m)v_1 + \dots + a_{m-1}(\lambda_{m-1} - \lambda_m)v_{m-1} = 0.

由归纳假设,v1,…,vm−1v_1, \dots, v_{m-1} 线性无关,故

a1(λ1−λm)=⋯=am−1(λm−1−λm)=0.a_1(\lambda_1 - \lambda_m) = \dots = a_{m-1}(\lambda_{m-1} - \lambda_m) = 0.

而 λk≠λm\lambda_k \neq \lambda_m,故 a1=⋯=am−1=0a_1 = \dots = a_{m-1} = 0。代回 (5.13)(5.13) 得 amvm=0a_mv_m = 0,而 vm≠0v_m \neq 0,故 am=0a_m = 0。于是所有系数为零。■\blacksquare

两种证明的差别只在收尾。证明一用”最小反例”把矛盾推到更短的列表上,证明二直接把这个更短的列表交给归纳假设。核心动作完全一样,都是作用 T−λmIT - \lambda_m I:这个算子把第 mm 项杀掉(因为 (T−λmI)vm=0(T - \lambda_m I)v_m = 0),同时把其余各项乘上一个非零标量(λk−λm\lambda_k - \lambda_m)。

为什么这个动作能成功? 因为它需要”只对某一项生效”。而”只对某一项生效”之所以可能,正是因为特征值互不相同——若 λk=λm\lambda_k = \lambda_m,那么 T−λmIT - \lambda_m I 会把第 kk 项也一起杀掉,我们就什么也没得到。

Theorem 5.12 (operator cannot have more eigenvalues than dimension of vector space)
设 VV 有限维。则 VV 上的每个算子至多有 dim⁡V\dim V 个互不相同的特征值。

证明:设 λ1,…,λm\lambda_1, \dots, \lambda_m 是 TT 的互不相同的特征值,v1,…,vmv_1, \dots, v_m 是对应特征向量。由 定理 5.11 它们线性无关,而 VV 中线性无关列表的长度不超过 dim⁡V\dim V(定理 2.22),故 m≤dim⁡Vm \le \dim V。■\blacksquare

这条结论在 lecture 13 还有一个完全不同的证明,用的是”极小多项式的零点就是特征值”(定理 5.27)加上”多项式零点个数不超过次数”(定理 4.8)。两条路线的对比很能说明本章风格:一条从线性无关出发(几何),一条从多项式出发(代数)。

4. Restriction and Quotient Operators

在之前的 lecture 中,我们或多或少地用过”限制映射”来做证明,但一直没有正式定义它。现在补上。不过要注意一个区别:限制映射只要求定义域受限,而限制算子还要求像落在受限的空间里。

4.1 Definition: restriction and quotient operators

定义(限制算子)
设 T∈L(V)T \in \mathcal{L}(V),UU 是 VV 的在 TT 下不变的子空间。限制算子 T∣U∈L(U)T|_U \in \mathcal{L}(U) 定义为

(T∣U)u=Tu(u∈U).(T|_U)u = Tu \qquad (u \in U).

良定义性:因为 UU 在 TT 下不变,Tu∈UTu \in U,所以 T∣UT|_U 确实以 UU 为陪域。这正是 2.3 节强调的那个漏洞被补上的地方。 若 UU 只是一般的子空间,TuTu 可能落到 UU 外面,T∣UT|_U 就只是”限制映射”而非”限制算子”。

定义(商算子,见习题 5.A.38)
在同样假设下,商算子 T/U∈L(V/U)T/U \in \mathcal{L}(V/U) 定义为

(T/U)(v+U)=Tv+U(v∈V).(T/U)(v + U) = Tv + U \qquad (v \in V).

良定义性需要认真验证,因为 v+Uv + U 的代表元不唯一(lecture 9 的 定理 3.101)。设 v′+U=v+Uv' + U = v + U,即 v′−v∈Uv' - v \in U。由 UU 在 TT 下不变,T(v′−v)∈UT(v' - v) \in U,即 Tv′−Tv∈UTv' - Tv \in U,故 Tv′+U=Tv+UTv' + U = Tv + U。所以定义不依赖代表元的选取。

这里又一次用到了”UU 在 TT 下不变”:若 UU 只是任意子空间,Tv′−TvTv' - Tv 未必属于 UU,商算子根本定义不出来。

4.2 为什么这两个算子重要

若 dim⁡V\dim V 有限、UU 非平凡(即 {0}≠U≠V\{0\} \neq U \neq V),则

dim⁡U<dim⁡V,dim⁡V/U=dim⁡V−dim⁡U<dim⁡V.\dim U < \dim V, \qquad \dim V/U = \dim V - \dim U < \dim V.

两个空间的维数都严格变小了。于是对维数作归纳时(lecture 13 的 定理 5.47 与 lecture 14 的 定理 5.62 都这么做),就可以把关于 TT 的命题化归为关于这两个小子空间的命题。“限制加商”是算子理论的归纳引擎。

4.3 一个警告:两个小算子未必能决定大算子

不过,”TT 由 T∣UT|_U 与 T/UT/U 决定”这个想法是错的。习题 5.A.36 会看到一个例子:某些情形下 T∣U=0T|_U = 0 且 T/U=0T/U = 0,但 T≠0T \neq 0。

为什么会这样? 因为 T∣UT|_U 只记录 TT 在 UU 上的行为,T/UT/U 只记录 TT 模掉 UU 之后的行为。而 TT 还可以把 UU 之外的部分送进 UU 里,这部分信息既不属于 T∣UT|_U(起点不在 UU),也不属于 T/UT/U(T/UT/U 把 UU 视为零,看不见”送进 UU“这件事)。

用矩阵看最清楚。若基排成”UU 的基在前、补空间在后”,则

M(T)=(AB0C),\mathcal{M}(T) = \begin{pmatrix} A & B\\ 0 & C\end{pmatrix},

其中 AA 是 T∣UT|_U 的矩阵、CC 是 T/UT/U 的矩阵,而 BB 那一块被两个小算子完全丢掉了。取 A=C=0A = C = 0 而 B≠0B \neq 0,就得到 T≠0T \neq 0 而两个小算子都是零。

所以分解策略是”部分有效”的:把 TT 拆成小块能让每块变简单,但一般不能指望小块合起来等于大块。要得到完整分解,需要足够多的一维不变子空间,也就是足够多的特征向量——这正是 lecture 14 的可对角化问题。

5. 本讲概念映射 (Summary)

关心的问题精确形式编号
什么样的子空间能”放算子的幂”Tu∈UTu \in U 对一切 u∈Uu \in U,即 T∣UT\lvert_U 是 UU 上的算子5.2
哪些子空间自动不变{0}\{0\}, VV, null T\text{null } T, range T\text{range } T5.4
最简单的不变子空间一维不变子空间 ↔\leftrightarrow 特征向量2.6 节
算子在一维上能做什么只能是乘以某个数,Tv=λvTv = \lambda v5.5
怎么检验 λ\lambda 是特征值λ\lambda 是特征值   ⟺  \iff T−λIT - \lambda I 不可逆5.7
特征向量住在哪个子空间v∈null(T−λI)v \in \text{null}(T - \lambda I),v≠0v \neq 05.8
特征值是否存在取决于域:90∘90^\circ 旋转在 R\mathbf{R} 上没有、在 C\mathbf{C} 上有一对5.9
不同特征值的特征向量必线性无关5.11
特征值能有多少个至多 dim⁡V\dim V 个5.12
如何把 TT 拆小限制算子 T∣UT\lvert_U 与商算子 T/UT/U4.1 节

一条主线

本章只做了一件事,即把”理解 TT“化归为”把 VV 拆成 TT 保持的小块”。为了让小块上的限制仍是算子,我们定义了不变子空间;为了找到最小的非平凡小块,我们取一维子空间,于是得到方程 Tv=λvTv = \lambda v 以及特征值、特征向量。而”限制到 UU、再商掉 UU“给出两个维数更小的算子,这是后续所有归纳论证的引擎。

一句话概括:特征值就是”算子在某个方向上退化成数乘”的那个数,而 定理 5.11 保证这些方向互不干扰。本章留下的问题是:这样的方向够不够多? 够多则 VV 能被拆成一堆一维小块,TT 的矩阵是对角阵(lecture 14);不够多则至少还能拿到上三角(lecture 13)。

6. Questions to Carry Forward (下节课前瞻)

  • 多项式作用于算子:既然算子能取幂,p(T)=a0I+a1T+⋯+amTmp(T) = a_0I + a_1T + \dots + a_mT^m 就有意义。而 null p(T)\text{null } p(T) 与 range p(T)\text{range } p(T) 仍是 TT 的不变子空间(定理 5.18),于是”用多项式造不变子空间”成为可能。
  • 每个复算子都有特征值:lecture 13 的 定理 5.19 会证明这件事,它的证明把本讲的两样东西接了起来,即算子的幂(造出 p(T)v=0p(T)v = 0)与 lecture 11 的代数基本定理(把 pp 分解出一次因式 z−λz - \lambda,从而得到 T−λIT - \lambda I 不单射)。
  • 极小多项式:使 p(T)=0p(T) = 0 的最低次首一多项式(定义 5.24)存在且唯一,它的零点恰好是特征值(定理 5.27)。
  • 实与复的差别:本讲 例子 5.9 已经显示域的选择会改变特征值的存在性。lecture 13 会把它做成定理,即复空间上每个算子都有上三角矩阵(定理 5.47),实空间上则需要维数为奇数(定理 5.34)。
  • 特征子空间:把所有对应 λ\lambda 的特征向量连同 00 收集起来得到特征空间 E(λ,T)E(\lambda, T)(lecture 14 的 定义 5.52),这些子空间的和是直和(定理 5.54),而”直和是否等于整个 VV“正是可对角化的判据。

7. Exercises (Homework Assignment 12: LADR 5.A: 2, 14, 22, 34, 36)

编号说明:正文的定理编号一律用第四版,但作业题号来自第三版,讲义幻灯片第一页即引用 “5.10” 为”不同特征值的特征向量线性无关”,而第四版该条为 5.11。两版的 5.A 习题内容与顺序都不同(第三版 36 题,第四版 43 题),因此下表按内容给出对照。

第三版题号(作业)第四版对应题考查内容
5.A.25.A.1(原题前半)若 U⊆null TU \subseteq \text{null } T,则 UU 在 TT 下不变
5.A.145.A.12投影算子 P(u+w)=uP(u+w) = u 的特征值与特征向量
5.A.225.A.22Tu=3wTu = 3w、Tw=3uTw = 3u ⇒\Rightarrow 33 或 −3-3 是特征值
5.A.34无直接对应T/(null T)T/(\text{null } T) 单射   ⟺  \iff null T∩range T={0}\text{null } T \cap \text{range } T = \{0\}
5.A.365.A.38(b) 的反方向举例:T/UT/U 有 TT 没有的特征值

说明:第四版删去并新增了部分习题,故 5.A.34 在第四版中无对应题。第四版 5.A.38 是商算子的定义与”T/UT/U 的特征值都是 TT 的特征值”(需要 VV 有限维),恰是 5.A.36 的反方向。两题合起来界定了”商掉不变子空间会丢掉什么”。

5.A.2

Suppose T∈L(V)T \in \mathcal{L}(V) and UU is a subspace of VV. (a) Prove that if U⊆null TU \subseteq \text{null } T, then UU is invariant under TT.

(b) Prove that if range T⊆U\text{range } T \subseteq U, then UU is invariant under TT.

(第三版 5.A.1;第四版 5.A.1。两版同题。)

solution:

(a) 设 U⊆null TU \subseteq \text{null } T。任取 u∈Uu \in U。则 u∈null Tu \in \text{null } T,即 Tu=0Tu = 0。而 0∈U0 \in U,故 Tu∈UTu \in U。由 uu 任意,UU 在 TT 下不变。

(b) 设 range T⊆U\text{range } T \subseteq U。任取 u∈Uu \in U。则 Tu∈range T⊆UTu \in \text{range } T \subseteq U,故 Tu∈UTu \in U。由 uu 任意,UU 在 TT 下不变。■\blacksquare

要点:这两条说明”不变”并不神秘,它只要求 TT 不要把 UU 的元素甩出去。而 (a)(b) 提供了两种”甩不出去”的机制,即 UU 完全落在被抹掉的部分里,或者 UU 完全包住了能送达的部分。特别地取 U=null TU = \text{null } T 与 U=range TU = \text{range } T,就重新得到 例子 5.4 中那两条。

5.A.14

Suppose V=U⊕WV = U \oplus W, where UU and WW are nonzero subspaces of VV. Define P∈L(V)P \in \mathcal{L}(V) by P(u+w)=uP(u+w) = u for u∈Uu \in U and w∈Ww \in W. Find all eigenvalues and eigenvectors of PP.

(第三版 5.A.14;第四版 5.A.12。这个算子称为 VV 到 UU 沿 WW 的投影 (projection),是线性代数里最重要的算子之一。)

solution:

第一步:PP 良定义且线性。 由 V=U⊕WV = U \oplus W,每个 vv 都能唯一写成 v=u+wv = u + w,故 PP 不依赖分解方式的选取。线性性由分解的唯一性直接得到,例如

P((u1+w1)+(u2+w2))=P((u1+u2)+(w1+w2))=u1+u2=P(u1+w1)+P(u2+w2).P\big((u_1+w_1) + (u_2+w_2)\big) = P\big((u_1+u_2) + (w_1+w_2)\big) = u_1 + u_2 = P(u_1+w_1) + P(u_2+w_2).

第二步:P2=PP^2 = P。 对 v=u+wv = u + w,有 Pv=u∈UPv = u \in U,而 uu 的分解是 u+0u + 0,故 P2v=P(u)=u=PvP^2v = P(u) = u = Pv。所以 PP 是幂等的,这个性质将决定它的全部特征值。

第三步:特征值只能是 00 或 11。 设 Pv=λvPv = \lambda v 且 v≠0v \neq 0。把 PP 再作用一次:

λv=Pv=P2v=P(λv)=λPv=λ2v.\lambda v = Pv = P^2v = P(\lambda v) = \lambda Pv = \lambda^2 v.

故 λ(λ−1)v=0\lambda(\lambda - 1)v = 0。由 v≠0v \neq 0 得 λ∈{0,1}\lambda \in \{0, 1\}。

第四步:这两个值都取到。 因为 U≠{0}U \neq \{0\},取 0≠u∈U0 \neq u \in U,则 Pu=u=1⋅uPu = u = 1\cdot u,故 11 是特征值。因为 W≠{0}W \neq \{0\},取 0≠w∈W0 \neq w \in W,则 Pw=0=0⋅wPw = 0 = 0\cdot w,故 00 是特征值。

第五步:全部特征向量。

  • 对应 λ=0\lambda = 0:Pv=0Pv = 0 当且仅当 vv 的 UU-分量为 00,即 v∈Wv \in W。故对应 00 的特征向量是 W∖{0}W \setminus \{0\}。
  • 对应 λ=1\lambda = 1:Pv=vPv = v 当且仅当 vv 的 UU-分量等于 vv,即 v∈Uv \in U。故对应 11 的特征向量是 U∖{0}U \setminus \{0\}。

结论:PP 恰有两个特征值 00 与 11;对应 00 的特征向量是 W∖{0}W \setminus \{0\},对应 11 的特征向量是 U∖{0}U \setminus \{0\}。■\blacksquare

要点:这道题示范了本章最常用的代数技巧,即用算子满足的多项式方程来限制特征值。因为 P2=PP^2 = P,即 PP 满足 z2−z=0z^2 - z = 0,所以任何特征值都必须满足 λ2−λ=0\lambda^2 - \lambda = 0。这一想法的推广就是 lecture 13 的 定理 5.29:算子满足的多项式方程会把它的可能特征值限制在那个多项式的零点之中。

顺带得到一个漂亮的分解:

V=U⏟特征值 1⊕W⏟特征值 0,V = \underbrace{U}_{\text{特征值 } 1} \oplus \underbrace{W}_{\text{特征值 } 0},

这正是 lecture 14 中”可对角化”的最简样例。

5.A.22

Suppose T∈L(V)T \in \mathcal{L}(V) and there exist nonzero vectors uu and ww in VV such that Tu=3wTu = 3w and Tw=3uTw = 3u. Prove that 33 or −3-3 is an eigenvalue of TT.

(第三版 5.A.22;第四版 5.A.22。两版同题。)

solution:

关键想法:TT 交换 uu 与 ww 的角色,所以 u+wu+w 与 u−wu-w 应该分别是”不变号”与”变号”的方向。

第一步:计算 T(u+w)T(u+w) 与 T(u−w)T(u-w)。 由线性性与已知条件,

T(u+w)=Tu+Tw=3w+3u=3(u+w),T(u+w) = Tu + Tw = 3w + 3u = 3(u+w), T(u−w)=Tu−Tw=3w−3u=−3(u−w).T(u-w) = Tu - Tw = 3w - 3u = -3(u-w).

第二步:至少有一个非零。 u+wu + w 与 u−wu - w 不可能同时为零,否则两式相加得 2u=02u = 0,即 u=0u = 0,与 u≠0u \neq 0 矛盾。

第三步:收尾。 若 u+w≠0u + w \neq 0,则第一式说明 u+wu+w 是对应于 33 的特征向量,故 33 是特征值。若 u−w≠0u - w \neq 0,则第二式说明 u−wu-w 是对应于 −3-3 的特征向量,故 −3-3 是特征值。两种情况至少有一个发生,结论成立。■\blacksquare

要点:这道题的关键不是硬算,而是猜对了两个好方向 u±wu \pm w。为什么该猜它们?因为 TT 交换 uu 与 ww,而”交换两个元素”这个操作的特征向量恰好是对称组合(不变号)与反对称组合(变号)。这个直觉在对称性问题上极其常用。

等价说法:span(u,w)\text{span}(u,w) 在 TT 下不变,TT 在它上面关于基 u,wu, w 的矩阵是 (0330)\begin{pmatrix} 0 & 3\\ 3 & 0\end{pmatrix},其特征值是 λ2−9=0\lambda^2 - 9 = 0 的根,即 ±3\pm 3。构造法的好处是不需要假设 u,wu, w 线性无关。

5.A.34

Suppose T∈L(V)T \in \mathcal{L}(V). Prove that T/(null T)T/(\text{null } T) is injective if and only if (null T)∩(range T)={0}(\text{null } T) \cap (\text{range } T) = \{0\}.

(第三版 5.A.34。第四版已删去此题,与之最接近的是第四版 5.A.38。)

solution:

记 N=null TN = \text{null } T。由 例子 5.4,NN 在 TT 下不变,故商算子

(T/N)(v+N)=Tv+N\big(T/N\big)(v + N) = Tv + N

是 V/NV/N 上的良定义算子(良定义性的验证见 4.1 节)。

(⟹\Longrightarrow) 设 T/NT/N 是单射。任取 x∈N∩range Tx \in N \cap \text{range } T。

因为 x∈range Tx \in \text{range } T,存在 v∈Vv \in V 使 Tv=xTv = x。于是

(T/N)(v+N)=Tv+N=x+N.\big(T/N\big)(v + N) = Tv + N = x + N.

而 x∈Nx \in N,故由 定理 3.101 得 x+N=N=0+Nx + N = N = 0 + N,即 v+Nv + N 落在 T/NT/N 的零空间中。由 T/NT/N 单射,

v+N=0+N,即v∈N=null T.v + N = 0 + N, \quad\text{即}\quad v \in N = \text{null } T.

于是 x=Tv=0x = Tv = 0。这就证明了 N∩range T={0}N \cap \text{range } T = \{0\}。

(⟸\Longleftarrow) 设 N∩range T={0}N \cap \text{range } T = \{0\}。设 v+Nv + N 在 T/NT/N 的零空间中,即

Tv+N=(T/N)(v+N)=0+N.Tv + N = \big(T/N\big)(v + N) = 0 + N.

由 定理 3.101 得 Tv∈NTv \in N。而 Tv∈range TTv \in \text{range } T 是显然的,故

Tv∈N∩range T={0},Tv \in N \cap \text{range } T = \{0\},

即 Tv=0Tv = 0,也就是 v∈Nv \in N。于是 v+N=0+Nv + N = 0 + N。因此 T/NT/N 的零空间只有零元素,由 定理 3.15 它是单射。■\blacksquare

要点:本题说明商掉零空间未必能把 TT 变成单射,那需要一个额外的条件,即零空间与值域只在原点相交。

这个结论与 lecture 9 的 定理 3.107 不矛盾。那里商掉 NN 之后得到的是 V/NV/N 到 range T\text{range } T 的映射 T~\tilde{T}(陪域被换成了更小的 range T\text{range } T),所以它当然单射;而本题讨论的是 T/NT/N 作为 V/NV/N 上的算子(陪域是完整的 V/NV/N),因此可以漏掉零空间之外的信息。

几何图像:N∩range T={0}N \cap \text{range } T = \{0\} 的意思是”TT 丢失的方向”与”TT 送达的方向”互不重叠。此时商掉 NN 之后 TT 的行为完全可逆;一旦两者相交,商空间里就会出现被 TT 送到零的非零元素。

5.A.36

Give an example of a vector space VV, an operator T∈L(V)T \in \mathcal{L}(V), and a subspace UU of VV that is invariant under TT such that T/UT/U has an eigenvalue that is not an eigenvalue of TT.

(第三版 5.A.36。第三版 5.A.35 是它的反方向,即”若 VV 有限维,则 T/UT/U 的每个特征值都是 TT 的特征值”,本题说明该假设不能去掉。)

solution:

取 V=F∞V = \mathbf{F}^\infty(全体序列构成的空间),TT 为前移算子

T(z1,z2,z3,… )=(0,z1,z2,… ).T(z_1, z_2, z_3, \dots) = (0, z_1, z_2, \dots).

取

U=range T={(0,z2,z3,… )}={z∈F∞:z1=0}.U = \text{range } T = \{(0, z_2, z_3, \dots)\} = \{z \in \mathbf{F}^\infty : z_1 = 0\}.

第一步:UU 在 TT 下不变。 设 z=(0,z2,z3,… )∈Uz = (0, z_2, z_3, \dots) \in U。则

Tz=(0,0,z2,z3,… ),Tz = (0, 0, z_2, z_3, \dots),

其第一项仍为 00,故 Tz∈UTz \in U。(也可以直接引用 例子 5.4:值域总是不变的。)

第二步:TT 没有特征值。 设 Tz=λzTz = \lambda z 且 z≠0z \neq 0,即

(0,z1,z2,… )=(λz1,λz2,λz3,… ).(0, z_1, z_2, \dots) = (\lambda z_1, \lambda z_2, \lambda z_3, \dots).

逐分量比较得

0=λz1,z1=λz2,z2=λz3,…0 = \lambda z_1, \qquad z_1 = \lambda z_2, \qquad z_2 = \lambda z_3, \qquad \dots
  • 若 λ=0\lambda = 0:由 z1=λz2=0z_1 = \lambda z_2 = 0、z2=λz3=0z_2 = \lambda z_3 = 0、…… 依次得 z1=z2=⋯=0z_1 = z_2 = \dots = 0,即 z=0z = 0,矛盾。
  • 若 λ≠0\lambda \neq 0:由第一式得 z1=0z_1 = 0;再由 z2=z1/λ=0z_2 = z_1/\lambda = 0、z3=z2/λ=0z_3 = z_2/\lambda = 0、…… 依次得 z=0z = 0,矛盾。

故 TT 没有特征值。

第三步:T/UT/U 是零算子,因而以 00 为特征值。 对任意 z∈Vz \in V,

Tz∈range T=U,Tz \in \text{range } T = U,

故

(T/U)(z+U)=Tz+U=0+U.\big(T/U\big)(z + U) = Tz + U = 0 + U.

所以 T/UT/U 把 V/UV/U 的每个元素都送到零,即 T/U=0T/U = 0。

而 V/UV/U 不是零空间。例如 e1=(1,0,0,… )∉Ue_1 = (1,0,0,\dots) \notin U(它的第一项是 1≠01 \neq 0),故 e1+U≠0+Ue_1 + U \neq 0 + U。因此零算子 T/UT/U 在非零空间 V/UV/U 上有特征值 00:任取 0+U≠η∈V/U0 + U \neq \eta \in V/U,就有 (T/U)η=0=0⋅η(T/U)\eta = 0 = 0\cdot\eta。

结论:00 是 T/UT/U 的特征值,而 TT 没有任何特征值,故 T/UT/U 有一个 TT 没有的特征值。■\blacksquare

要点:本题必须用无限维空间,因为第三版 5.A.35 证明了:若 VV 有限维、UU 在 TT 下不变,则 T/UT/U 的每个特征值都是 TT 的特征值。所以本题与 5.A.35 恰好构成一对,共同界定”商掉不变子空间会丢掉什么”。

为什么会丢掉? 用矩阵看最清楚。若基排成”UU 的基在前、补空间在后”,则

M(T)=(AB0C),\mathcal{M}(T) = \begin{pmatrix} A & B\\ 0 & C\end{pmatrix},

T/UT/U 的矩阵就是 CC。于是 T/UT/U 的特征值是 CC 的特征值,这些未必是 TT 的特征值。在有限维情形,AA 与 CC 的特征值合起来恰好给出 TT 的全部特征值(重复计数),所以 CC 的每个特征值必然也是 TT 的特征值;而在无限维情形这个论证失效了,前移算子就是一个”纯消灭型”的算子,它把每个向量都加上一个零前缀,从而既不放大也不重复任何方向,因此没有任何特征方向可供继承。