线性代数

原图

向量空间

向量

n 个有序的数\(a_1,a_2,...,a_n\)所组成的数组称为\(n\) 维向量，这\(n\)个数称为该向量的\(n\)个分量，第\(i\)个数\(a_i\)称为第\(i\)个分量。\(n\)维向量可写成一行，也可写成一列。分别称为行向量和列向量：

• n 维列向量：

\[ \begin{pmatrix}a_1\\a_2\\\vdots\\a_n\end{pmatrix} \]

• 与 n 维行向量：

\[ (a_1,a_2,...,a_n)\quad 或、quad \begin{pmatrix}a_1&a_2&\cdots&a_n\end{pmatrix} \]

\(n\)也称为该向量的维数。

向量的基本运算法则

\[ \begin{array}{c|c} \hline \\ \quad 加法、quad & \quad\begin{aligned} 交换律、\ 结合律 \end{aligned}\quad & \quad\begin{aligned}\boldsymbol{v}+\boldsymbol{u}=\boldsymbol{u}+\boldsymbol{v}\qquad\quad\\ \boldsymbol{u}+\boldsymbol{v}+\boldsymbol{w}=\boldsymbol{u}+(\boldsymbol{v}+\boldsymbol{w}) \end{aligned}\quad\\ \\ \hline \\ \quad 数乘、quad & \quad\begin{aligned} 交换律、\ 结合律、\分配律 \end{aligned}\quad & \quad\begin{aligned}k\cdot\boldsymbol{u}=\boldsymbol{u}\cdot k\qquad\ \ \\ k\cdot m\cdot\boldsymbol{u}=k\cdot(m\cdot\boldsymbol{u})\\k(\boldsymbol{u}+\boldsymbol{v})=k\boldsymbol{u}+k\boldsymbol{v}\ \ \end{aligned}\quad\\ \\ \hline \end{array} \]

线性组合

• 向量组： 若干同维数的列向量（或者同维数的行向量）所组成的集合，叫做向量组。比如同维数 的向量\(\boldsymbol{a_1},\boldsymbol{a_2},...\boldsymbol{a_m}\)，可 以组成向量组\(\mathcal{A}\)，通常记作：

  \[ \mathcal{A}:\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol {a_m}\quad 或、quad \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol {a_2},...,\boldsymbol{a_m}\} \]

• 线性相关： 给定向量组\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},..., \boldsymbol{a_m}\}\)和向量\(\boldsymbol{b_{}}\)，如果存在一组实数\(k_1, k_2,...k_m\)，使：

  \[ \boldsymbol{b_{}}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+... +k_m\boldsymbol{a_m} \]

  则称向量\(\boldsymbol{b_{}}\)能由向量组\(\mathcal{A}\) 线性表示，或称向量 \(\boldsymbol{b_{}}\)是向量组\(\mathcal{A}\)的线性组合。

• 线性相关和线性无关： 给定向量组\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},..., \boldsymbol{a_m}\}\)，如果存在不全为零的实数\(k_1,k_2,...k_m\)，使：

  \[ k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+...+k_m\boldsymbol{a_m} =\boldsymbol{0} \]

  则称向量组\(\mathcal{A}\)是线性相关的，否则称它为线性无关。

向量空间

设\(\mathcal{V}\)为一向量组，如果\(\mathcal{V}\)非空，且\(\mathcal{V}\)对于向量的加法及数乘两种运算封闭，那么就称\(\mathcal{V}\)为向量空间。

所谓封闭，是指在\(\mathcal{V}\)中向量进行数乘和加减，其结果依然在\(\mathcal{V}\)中。具体的说，就是：

• 若\(\boldsymbol{a}\in \mathcal{V},\boldsymbol{b}\in \mathcal{V}\)，则\(\boldsymbol{a}+\boldsymbol{b} \in \mathcal{V}\)。
• 若\(\boldsymbol{a}\in \mathcal{V},k\in \mathbb{R}\)，则\(k\boldsymbol{a} \in \mathcal{V}\)。

张成空间

张成空间的定义

某向量组\(\mathcal{A}=\{\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p}\}\)，其所有线性组合构成的集合为向量空间，也称为向量组\(\mathcal{A}\)的张成空间，记为\(span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})\)，即：

\[ span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})=\{k_1\boldsymbol{v_1}+k_2\boldsymbol{v_2}+...+k_p\boldsymbol{v_p},k_{1,2,...,p}\in\mathbb{R}\} \]

也称\(span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})\)为向量组\(\mathcal{A}\)所张成。

等价向量组

设有两个向量组\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_m}\}\)及\(\mathcal{B}=\{\boldsymbol{b_1},\boldsymbol{b_2},...,\boldsymbol{b_n}\}\)，若向量组\(\mathcal{B}\)中的每个向量都能由向量组\(\mathcal{A}\)线性表示，则称向量组\(\mathcal{B}\)能由向量组\(\mathcal{A}\)线性表示。

若向量组\(\mathcal{A}\)与向量组\(\mathcal{B}\)能相互线性表示，则称这两个向量组等价，也可以说\(\mathcal{A}\)和\(\mathcal{B}\)是等价向量组。

最大无关组

设有向量组\(\mathcal{A}\)，如果在\(\mathcal{A}\)中能选出\(r\)个向量\(\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_r}\)满足：

• 向量组\(\mathcal{A}_0=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_r}\}\)线性无关。
• 向量组\(\mathcal{A}\)中任意\(r+1\)个向量（如果\(\mathcal{A}\)中有\(r+1\)个向量的话）都线性相关，那么称向量组\(\mathcal{A}_0\)是向量组\(\mathcal{A}\)的一个最大线性无关组，简称最大无关组。

向量组的秩

假设向量组\(A\)的最大无关组为： \[ \mathcal{A}_0=\{a_1,a_2,\cdots,a_r\} \]

\(\mathcal{A}_0\)的向量个数\(r\)称为向量组\(\mathcal{A}\)的秩，记做\(rank(\mathcal{A})\)，有时也记作\(r(\mathcal{A})\)。

向量空间的基

• 基： 已知\(\mathcal{V}\)为向量空间，如果其中的某向量组：

  \[ \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...\boldsymbol {a_n}\} \]

  是\(\mathcal{V}\)的最大无关组，那么向量组\(\mathcal{A}\)被称为向量空间 \(\mathcal{V}\)的一个基。

• 坐标： 假设\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_n}\}\)是向量空间\(\mathcal{V}\)的一个基，则\(\mathcal{V}\)中每个向量\(\boldsymbol{x}\)可唯一地表示为： \[ \boldsymbol{x}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+\cdots +k_n\boldsymbol{a_n} \] 上式的系数可以组成向量： \[ [\boldsymbol{x}]_\mathcal{A}=\begin{pmatrix}k_1\\k_2\\\vdots\\k_n\end{pmatrix} \] 我们将其称为\(\boldsymbol{x}\)在基\(\mathcal{A}\)下的坐标向量，或者简称为\(\boldsymbol{x}\)在基\(\mathcal{A}\)下的坐标。

• 维度： 假设向量空间\(\mathcal{V}\)的基为： \[ \mathcal{A}=\{a_1,a_2,\cdots,a_r\} \] 则\(\mathcal{A}\)的秩\(r\)称为该向量空间的维度，或者称\(\mathcal{V}\)为\(r\)维向量空间。

数量积（点积）

点积的定义

向量\(\boldsymbol{x}=\begin{pmatrix}x_1\\\vdots\\x_n\end{pmatrix}\)和 \(\boldsymbol{y}=\begin{pmatrix}y_1\\\vdots\\y_n\end{pmatrix}\)的点积\((dot product)\)，或称内积\((inner product)\)，定义为：

\[ \boldsymbol{x}\cdot\boldsymbol{y}=x_1y_1+\cdots+x_ny_n=\displaystyle\sum_{i=1}^{n}x_iy_i \]

点积还可以称为数量积或者标量积，这是因为两个向量通过点积运算之后的结果是数量（标量）。

点积的性质

\[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad \boldsymbol{a}\cdot\boldsymbol{b}=\boldsymbol{b}\cdot\boldsymbol{a}\quad\\ \quad 数乘结合律、quad&\quad (k\boldsymbol{a})\cdot\boldsymbol{b}=k(\boldsymbol{b}\cdot\boldsymbol{a})\quad\\ \quad 分配律、quad&\quad (\boldsymbol{a}+\boldsymbol{b})\cdot\boldsymbol{c}=\boldsymbol{a}\cdot\boldsymbol{c}+\boldsymbol{b}\cdot\boldsymbol{c}\quad\\ \\ \hline \end{array} \]

矩阵和矩阵运算

矩阵的定义

由\(m\times n\)个数\(a_{ij}(i=1,2,...m;j=1,2...n)\)排成的\(m\)行\(n\)列的数表称为\(m\)行\(n\)列矩阵\(（Matrix）\)，简称\(m\times n\)矩阵。为表示这些数字是一个整体，总是加一个括弧，下面就表示了矩阵\(A\)：

\[ A=\underbrace{\begin{pmatrix}a_{11}&a_{12}&...&a_{1n}\\a_{21}&a_{22}&...&a_{2n}\\...&...&&...\\a_{m1}&a_{m2}&...&a_{mn}\end{pmatrix}}_{\large n 列}\left.\begin{aligned}\\\\\\\\\end{aligned}\right\}m 行 \]

可以用\(a_{ij}\)或\(a_{i,j}\)来表示该矩阵\(A\)的第\(i\)行\(j\)列的数字，刚才的矩阵还可以简记为：

\[ A=(a_{ij})=(a_{i,j}) \]

为了表示矩阵的行数和列数，\(m\times n\)矩阵\(A\)也记作\(A_{m\times n}\)。

高斯消元法

• 行阶梯形矩阵： 非零矩阵若满足：
  • 非零行在零行（如果存在的话）的上面
  • 非零行最左边的首非零元素在上一行（如果存在的话）的首非零元素的右面

  所以称为行阶梯形矩阵（Row echelon form），非零行最左边的首非零元素称为主元（Pivot element）。

• 对角矩阵： 若 n 阶方阵如下： \[ \Lambda_{n}=\begin{pmatrix}\lambda_1&0&...&0\\0&\lambda_2&...&0\\...&...&&...\\ 0&0&...&\lambda_n\end{pmatrix} \] 对角线以外的元素都是 0，这种方阵称为对角矩阵（Diagonal matrix），简称对角阵，也记作： \[ \Lambda_{n}=diag(\lambda_1,\lambda_2,...,\lambda_n) \]

• 单位阵： 如果 n 阶对角阵的对角线上的元素全为 1： \[ I_n=\begin{pmatrix}1&0&...&0\\0&1&...&0\\...&...&&...\\ 0&0&...&1\end{pmatrix} \] 该对角阵称为 n 阶单位矩阵（Identity matrix），或者简称为单位阵。在国内教材中，单位阵一般用 E 表示。

• 行最简形矩阵： 若 A 是行阶梯形矩阵，并且还满足：
  • 主元为 1
  • 除主元外，其所在列的其它元素均为 0

  则称 A 为行最简形矩阵（Reduced row echelon form）.

• 初等行变换和初等行矩阵： 完成高斯消元法只需要三种操作，这三种操作是作用在矩阵的行上的，所以又称为初等行变换（Elementary row operations）。在单位阵上应用这三种初等行变换一次得到的矩阵称为初等行矩阵（Elementary row matrix），也就是下列表格中最右的矩阵： \[ \begin{array}{c|c|c} \hline \quad 初等行变换、quad &\quad 操作、quad &\quad 初等行矩阵、quad\\ \hline \\ \quad \begin{aligned}\color{SkyBlue}{倍加变换} \qquad\qquad\quad\\\text{row-addition transformations}\end {aligned}\quad &\quad \boldsymbol{r_1}'=\boldsymbol{r_1} +k\boldsymbol{r_2}\quad &\quad \begin{pmatrix}1&{\color{red} {k}}&0\\0&1&0\\0&0&1\end{pmatrix}\quad \\ \hline \\ \quad \begin{aligned}\color{Goldenrod}{倍乘变换} \qquad\qquad\quad\\\text{row-multiplying transformations} \end{aligned}\quad &\quad \boldsymbol{r_1}'=k\boldsymbol {r_1} (k\neq 0)\quad & \quad \begin{pmatrix}{\color{red}{k}}&0&0\\0&1&0\\0&0&1\end {pmatrix}\quad \\ \\ \hline \\ \quad \begin{aligned}\color{orange}{对换变换} \qquad\qquad\quad\\\text{row-switching transformations}\end {aligned}\quad &\quad \boldsymbol{r_1}\leftrightarrow \boldsymbol{r_2}\quad & \quad \begin{pmatrix}{\color{red}{0}}&{\color{red}{1}}& {\color{red}{0}}\\ {\color{red}{1}}&{\color{red}{0}}&{\color{red}{0}}\\0&0& 1\end{pmatrix}\quad \\ \\ \hline \end{array} \]

  初等行矩阵乘上矩阵 A，就相当于在矩阵 A 上实施了对应的初等行变换。

矩阵的加法与乘法

两个矩阵的行数相等、列数也相等时，就称它们是同型矩阵。

• 加法： 设有两个\(m\times n\)矩阵\(A=(a_{ij})\)和\(B=(b_{ij})\)，那么矩阵\(A\)和\(B\)的和记做\(A+B\)，规定为： \[ A+B=\begin{pmatrix}a_{11}+b_{11}&a_{12}+b_{12}&...&a_{1n}+b_{1n}\\a_{21}+b_{21}&a_{22}+b_{22}&...&a_{2n}+b_{2n}\\ ...&...&&...\\a_{m1}+b_{m1}&a_{m2}+b_{m2}&...&a_{mn}+b_{mn}\end{pmatrix} \]

• 矩阵加法运算规律： \[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad A+B=B+A\quad\\ \quad 结合律、quad&\quad (A+B)+C=A+(B+C)\quad\\ \\ \hline \end{array} \]

• 矩阵数乘： 数\(k\)与矩阵\(A\)的乘积记作： \[ kA\quad 或、quad Ak \] 规定为： \[ kA=Ak= \begin{pmatrix} ka_{11}&ka_{12}&\cdots&ka_{1n}\\ ka_{21}&ka_{22}&\cdots&ka_{2n}\\ \cdots&\cdots& &\cdots\\ ka_{m1}&ka_{m2}&\cdots&ka_{mn}\end{pmatrix} \]

• 数乘的运算规律： \[ \begin{array}{c|c} \hline \\ \quad 结合律、quad&\quad (\lambda\mu) A=\lambda(\mu A)\quad\\ \\ \quad 分配律、quad&\quad \begin{aligned}(\lambda+\mu) A=\lambda A+\mu A\\\lambda(A+B)=\lambda A+\lambda B\end {aligned}\quad\\ \\ \hline \end{array} \]

• 矩阵乘法的定义： 设\(A=(a_{ij})\)是一个\(m\times s\)矩阵，\(B=(b_{ij})\)是一个\(s\times n\)矩阵，那么规定\(A\)与\(B\)的乘积是一个\(m\times n\)矩阵\(C=(c_{ij})\)，其中： \[ c_{ij}=\boldsymbol{a}_{i*}\cdot\boldsymbol{b}_{*j}=a_{i1}b_{1j} +a_{i2}b_{2j}+...+a_{is}b_{sj}=\displaystyle \sum_{k=1}^s a_{ik} b_{kj} (i=1,\cdots,m;j=1,\cdots,n) \] 并把乘积记作： \[ C=AB \]

• 矩阵乘法运算规律： \[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad 不一定满足、quad\\ \quad 数乘交换律、quad&\quad \lambda(AB)=(\lambda A)B=A (\lambda B)（其中、lambda 是数）\quad\\ \quad 结合律、quad&\quad (AB)C=A(BC)\quad\\ \quad 分配律、quad&\quad A(B+C)=AB+AC\quad\\ \\ \hline \end{array} \]

矩阵的幂与转置

类似于\(x^n\)称为\(x\)的幂运算，矩阵也有幂运算，也称为矩阵的幂： 设\(A\)是方阵，定义：

\[ A^1=A,\quad A^2=A^1A^1,\quad\cdots,\quad A^{k+1}=A^kA^1 \]

其中 k 为正整数。

• 矩阵的转置： 把矩阵\(A\)的行换成同序数的列，该操作称为矩阵的转置运算。转置运算后可以得到一个新矩阵，该矩阵称为 A 的转置矩阵，记作\(A^\mathrm{T}\)。或者用符号表示如下： \[ A=(a_{ij}),\quad A^\mathrm{T}=(a_{ji}) \]

• 转置的性质： \[ (A^\mathrm{T})^\mathrm{T}=A \] (AB)^=BA ^{\[ (A^\mathrm{T})^n=(A^n)^\mathrm{T} \] (A+B)}=A^+B \[ 对于两个同维向量$\boldsymbol{x}$和$\boldsymbol{y}$，有： \] ^=() $$

• 对称矩阵与反对称矩阵： 若： \[ A^T=A \] 则矩阵 A 称为对称矩阵。

  若： \[ A^T=-A \] 则矩阵 A 称为反对称矩阵。

矩阵函数

其实，任给一个 RGB 都可以如上转为对应的\(YP_rP_b\)。为了表明这一点，我们用未知向量\(\boldsymbol{x}、\boldsymbol{y}\)来替换常向量\(\boldsymbol{a}、\boldsymbol{b}\)：

\[ \underbrace{\begin{pmatrix}0.299&0.587&0.114\\0.5&-0.418688&-0.081312\\-0.168736&-0.331264&0.5\end{pmatrix}}_{\large \boldsymbol{A}}\ \underbrace{\begin{pmatrix}R\\G\\B\end{pmatrix}}_{\large \boldsymbol{x}}\ =\ \underbrace{\begin{pmatrix}Y\\P_r\\P_b\end{pmatrix}}_{\large \boldsymbol{y}} \]

这样就得到了函数\(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{y}（）\)，也称为矩阵函数，其输入为\(\boldsymbol{x}\)，输出为\(\boldsymbol{y}\)：

矩阵函数的性质

\[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad 不一定满足、quad\\ \quad 数乘交换律、quad&\quad \lambda(AB)=(\lambda A)B=A(\lambda B)（其中、lambda 是数）\quad\\ \quad 结合律、quad&\quad (AB)C=A(BC)\quad\\ \quad 分配律、quad&\quad A(B+C)=AB+AC\quad\\ \\ \hline \end{array} \]

矩阵的秩

行秩和列秩

列空间

矩阵 A 的列向量为：

\[ A= \begin{pmatrix} {\color{green}{a_{11}}}&{\color{blue}{a_{12}}}&\cdots&{\color{purple}{a_{1n}}}\\ {\color{green}{a_{21}}}&{\color{blue}{a_{22}}}&\cdots&{\color{purple}{a_{2n}}}\\ \vdots&\vdots&\quad&\vdots\\ {\color{green}{a_{m1}}}&{\color{blue}{a_{m2}}}&\cdots&{\color{purple}{a_{mn}}} \end{pmatrix} =({\color{green}{\boldsymbol{c_1}}},{\color{blue}{\boldsymbol{c_2}}},\cdots,{\color{purple}{\boldsymbol{c_n}}}) \]

包含所有列向量的向量组称为列向量组，即：

\[ 列向量组：\{\boldsymbol{c_1},\boldsymbol{c_2},\cdots,\boldsymbol{c_n}\} \]

列向量组的张成空间称为列空间，记作\(colsp(A)\)，即：

\[ \begin{aligned} colsp(A) &=span(\{\boldsymbol{c_1},\boldsymbol{c_2},\cdots,\boldsymbol{c_n}\})\\ &=x_1\boldsymbol{c_1}+x_2\boldsymbol{c_2}+\cdots+x_n\boldsymbol{c_n},\quad x_{1,2,\cdots,n}\in\mathbb{R} \end{aligned} \]

列向量组的秩，也就是列空间的维度，称为列秩，即：

\[ 列秩=rank(colsp(A)) \]

如果列向量组线性无关，就称为列满秩。

行空间

矩阵 A 的行向量为：

\[ A= \begin{pmatrix} {\color{green}{a_{11}}}&{\color{green}{a_{12}}}&\cdots&{\color{green}{a_{1n}}}\\ {\color{blue}{a_{21}}}&{\color{blue}{a_{22}}}&\cdots&{\color{blue}{a_{2n}}}\\ \vdots&\vdots&\quad&\vdots\\ {\color{purple}{a_{m1}}}&{\color{purple}{a_{m2}}}&\cdots&{\color{purple}{a_{mn}}} \end{pmatrix} =\begin{pmatrix}{\color{green}{\boldsymbol{r_1}^\mathrm{T}}}\\{\color{blue}{\boldsymbol{r_2}^\mathrm{T}}}\\\vdots\\{\color{purple}{\boldsymbol{r_m}^\mathrm{T}}}\end{pmatrix} \]

包含所有行向量的向量组称为行向量组，即：

\[ 行向量组：\{\boldsymbol{r_1}^\mathrm{T},\boldsymbol{r_2}^\mathrm{T},\cdots,\boldsymbol{r_m}^\mathrm{T}\} \]

行向量组的张成空间称为行空间，记作\(rowsp(A)\)，即：

\[ \begin{aligned} rowsp(A) &=span(\{\boldsymbol{r_1}^\mathrm{T},\boldsymbol{r_2}^\mathrm{T},\cdots,\boldsymbol{r_m}^\mathrm{T}\})\\ &=x_1\boldsymbol{r_1}^\mathrm{T}+x_2\boldsymbol{r_2}^\mathrm{T}+\cdots+x_m\boldsymbol{r_m}^\mathrm{T},\quad x_{1,2,\cdots,m}\in\mathbb{R} \end{aligned} \]

行向量组的秩，也就是行空间的维度，称为行秩，即：

\[ 行秩=rank(rowsp(A)) \]

如果行向量组线性无关，就称为行满秩。

秩

• 矩阵的秩的定义： 对于任意矩阵，始终有列秩等于行秩，所以统称为矩阵的秩，即： \[ 矩阵的秩=列秩=行秩 \]

  矩阵 A 的秩记作\(rank(A)\)，有时也简写为\(r(A)\)。

• 秩的几何意义： 根据自然定义域下，矩阵函数的值域可知，在自然定义域下

  • 列向量矩阵函数\(A\boldsymbol{x}=\boldsymbol{y}\)的值域的维度是列秩
  • 行向量矩阵函数\(\boldsymbol{x}^\mathrm{T}A=\boldsymbol{y}^\mathrm{T}\)的值域的维度是行秩

  因为行秩=列秩=秩，所以当在自然定义域下时，秩就是矩阵函数的值域的维度。下面来看几个例子。

• 满秩： 如果某个矩阵，既是列满秩，又是行满秩，那么就称该矩阵为满秩矩阵，或者简称为满秩。满秩矩阵必为方阵。

• 秩的性质：

  • 秩的取值范围： \[ 0\le rank(A_{m\times n})\le\min(m,n) \]

  • 转置矩阵的秩： \[ rank(A)=rank(A^\mathrm{T}) \]

  • 复合函数的秩： \[ rank(AB)\leq\min\Big(rank(A),rank(B)\Big) \]

  • 满秩矩阵复合的秩。假设 P、Q 为满秩矩阵，那么： \[ rank(PA)=rank(AQ)=rank(PAQ)=rank(A) \]

  • 矩阵相加的秩。假设 A、B 为同型矩阵，那么： \[ rank(A+B)\le rank(A)+rank(B) \]

逆矩阵

逆矩阵的定义

若存在两个\(n\)阶方阵\(\boldsymbol{A}、\boldsymbol{C}\)，两者的乘积为\(n\)阶单位阵\(\boldsymbol{I}\)：

\[ \boldsymbol{A}\boldsymbol{C}=\boldsymbol{I}\qquad 且、qquad \boldsymbol{C}\boldsymbol{A}=\boldsymbol{I} \]

那么\(\boldsymbol{C}\)就是\(\boldsymbol{A}\)的逆矩阵，即有\(\boldsymbol{A}^{-1}=\boldsymbol{C}\)，且\(\boldsymbol{A}^{-1}\)是唯一的。

如果可以通过一系列初等行矩阵\(\boldsymbol{E}_i\)，将矩阵\(\boldsymbol{A}\)变换成单位阵\(\boldsymbol{I}\)，则\(\boldsymbol{A}\)的逆矩阵就是这些初等行矩阵的乘积：

\[ \underbrace{\boldsymbol{E}_1\boldsymbol{E}_2...\boldsymbol{E}_n}_{\boldsymbol{A}^{-1}}\boldsymbol{A}=\boldsymbol{I} \]

逆矩阵的运算规律

若\(\boldsymbol{A}\)可逆，则\(\boldsymbol{A}^{-1}\)也可逆，且：

\[ (\boldsymbol{A}^{-1})^{-1}=\boldsymbol{A} \]

若\(\boldsymbol{A}\)可逆，数\(\lambda\ne 0\)，则\(\lambda\boldsymbol{A}\)可逆，且：

\[ (\lambda\boldsymbol{A})^{-1}=\frac{1}{\lambda}\boldsymbol{A}^{-1} \]

若\(\boldsymbol{A}、\boldsymbol{B}\)为同阶方阵且均可逆，则\(\boldsymbol{A}\boldsymbol{B}\)也可逆，且：

\[ (\boldsymbol{A}\boldsymbol{B})^{-1}=\boldsymbol{B}^{-1}\boldsymbol{A}^{-1} \]

若\(\boldsymbol{A}\)可逆，则\(\boldsymbol{A}^\mathrm{T}\)也可逆，且：

\[ (\boldsymbol{A}^\mathrm{T})^{-1}=(\boldsymbol{A}^{-1})^\mathrm{T} \]

线性方程组的求解

• 解的存在性 对于线性方程组\(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}\)，它的增广矩阵为\(\boldsymbol{B}=(\boldsymbol{A}\ |\ \boldsymbol{b_{}})\)，那么：
  • 有解，当且仅当\(rank(\boldsymbol{A})=rank(\boldsymbol{B})\)
  • 无解，当且仅当\(rank(\boldsymbol{A}) < rank(\boldsymbol{B})\)

  行满秩矩阵一定有解

• 解的个数判别法： 对于线性方程组\(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}\)，它的增广矩阵为\(\boldsymbol{B}=(\boldsymbol{A}\ |\ \boldsymbol{b_{}})\)，如果\(\boldsymbol{A}\)为\(m\times n\)的矩阵，那么：
  • 有唯一解，当且仅当\(rank(\boldsymbol{A})=rank(\boldsymbol{B})=n\)
  • 有无数解，当且仅当\(rank(\boldsymbol{A})=rank(\boldsymbol{B})<n\)

  满秩矩阵解有唯一解

行列式

行列式定义

二阶行列式

假设有二阶方阵\(\boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{pmatrix}\)，那么刚才定义的运算规则称为该二阶方阵\(\boldsymbol{A}\)对应的行列式\(|\boldsymbol{A}|\)，也称为二阶行列式：

\[ |\boldsymbol{A}|=\begin{vmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{vmatrix}=a_{11}a_{22}-a_{12}a_{21} \]

上述定义只要求\(\boldsymbol{A}\)是方阵，不要求是满秩矩阵。

三阶行列式

假设有三阶方阵\(\boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{pmatrix}\)，那么刚才定义的运算规则称为该三阶方阵\(\boldsymbol{A}\)对应的行列式\(|\boldsymbol{A}|\)，也称为三阶行列式：

\[ \begin{aligned} |\boldsymbol{A}| &=\begin{vmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{vmatrix}\\ &=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}-a_{13}a_{22}a_{31} \end{aligned} \]

上述定义也只要求、boldsymbol{A}是方阵，不要求是满秩矩阵。

全排列

把 n 个不同的元素排成一列，叫做这 n 个元素的全排列。

逆序数

在一个排列（也就是数列）中，如果一对数的前后位置与大小顺序相反，即前面的数大于后面的数，那么它们就称为一个逆序。一个排列中逆序的总数就称为该排列的逆序数。逆序数为奇数的排列称为奇排列，逆序数为偶数的排列称为偶排列。

行列式定义

对于\(n\)阶方阵\(\boldsymbol{A}=(a_{ij})\)，其行列式定义为：

\[ |\boldsymbol{A}|=|a_{ij}|=\begin{vmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\quad&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{vmatrix}=\sum(-1)^ta_{1p_1}a_{2p_2}\cdots a_{np_n} \]

其中，\(t\)为排列\(p_1p_2\cdots p_n\)的逆序数，\(\sum\)表示对\(“1,2,\cdots,n”\)的全排列\(“p_1p_2\cdots p_n”\)求和。

向量积

向量积\(\boldsymbol{S}\)投影到了各个平面：

\[ \boldsymbol{S}\xrightarrow{\quad 投影、quad} \begin{cases} \boldsymbol{S_{xoy}}\\ \boldsymbol{S_{yoz}}\\ \boldsymbol{S_{zox}} \end{cases} \]

将这些投影加起来就得到了向量积\(\boldsymbol{S}\)：

\[ \begin{aligned} \boldsymbol{S} &=\boldsymbol{b}\times\boldsymbol{c}\\ \quad\\ &=\boldsymbol{S_{xoy}}+\boldsymbol{S_{yoz}}+\boldsymbol{S_{zox}}\\ \quad\\ &=\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3}+\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}+\begin{vmatrix}b_3&c_3\\b_1&c_1\end{vmatrix}\boldsymbol{e_2}\\ \quad\\ &=\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}+\begin{vmatrix}b_3&c_3\\b_1&c_1\end{vmatrix}\boldsymbol{e_2}+\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3} \end{aligned} \]

为了方便记忆，上面的式子往往如下书写，这就是向量积的定义： \[ \boldsymbol{b}\times\boldsymbol{c}=\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}-\begin{vmatrix}b_1&c_1\\b_3&c_3\end{vmatrix}\boldsymbol{e_2}+\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3} \]

子式和余子式

子式

在\(m\times n\)矩阵\(\boldsymbol{A}\)中，任取 k 行与 k 列\(（k\le m,k\le n）\)，位于这些行、列交叉处的\(k^2\)个元素，不改变它们在\(\boldsymbol{A}\)中所处的位置次序而得的 k 阶行列式，称为矩阵\(\boldsymbol{A}\)的 k 阶子式（Minor）。

设\(\boldsymbol{A}\)是\(m\times n\)的矩阵，\(I\)是集合\(\{1,...,m\}\)的一个\(k\)元子集，\(J\)是集合\(\{1,...,n\}\)的一个\(k\)元子集，\(|\boldsymbol{A}|_{I,J}\)是\(\boldsymbol{A}\)的\(k\)阶子式，其中抽取的 k 行的行号是 I 中所有元素，\(k\)列的列号是\(J\)中所有元素。那么：

• 如果\(I=J\)，称\(|\boldsymbol{A}|_{I,J}为、boldsymbol{A}\)的\(k\)阶主子式（Principal minor）。
• 如果\(I=J=\{1,\cdots,k\}\)所取的是左起前 k 列和上起前\(k\)行），称\(|\boldsymbol{A}|_{I,J}\)为\(\boldsymbol{A}\)的\(k\)阶顺序主子式（Leading principal minor）。

设在矩阵\(\boldsymbol{A}\)中有一个不等于 0 的 r 阶子式\(|\boldsymbol{B}_{r}|\)，且所有\(r+1\)阶子式（如果存在的话）全等于 0，那么\(|\boldsymbol{B}_{r}|\)称为矩阵\(\boldsymbol{A}\)的最高阶非零子式，数 r 称为矩阵\(\boldsymbol{A}\)的秩。（不适合求矩阵的秩，太麻烦）

余子式

在 n 阶行列式中，把\(a_{ij}\)所在的第 i 行和第 j 列划去后，留下来的 n-1 阶行列式叫做\(a_{ij}\)的余子式，记做\(\boldsymbol{M}_{ij}\).

代数余子式

在\(a_{ij}\)的余子式\(M_{ij}\)的基础上，还可以定义\(A_{ij}\)，称为\(a_{ij}\)的代数余子式： \[ A_{ij}=(-1)^{i+j}M_{ij} \]

总结

行列式的性质

• 行列式转置： 对于 n 阶方阵\(\boldsymbol{A}=(a_{ij})\)，有： \[ |\boldsymbol{A}|= \begin{vmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\quad&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{vmatrix},\quad |\boldsymbol{A}^\mathrm{T}|= \begin{vmatrix} a_{11}&a_{21}&\cdots&a_{n1}\\ a_{12}&a_{22}&\cdots&a_{n2}\\ \vdots&\vdots&\quad&\vdots\\ a_{1n}&a_{2n}&\cdots&a_{nn} \end{vmatrix} \]

  行列式\(|\boldsymbol{A}^\mathrm{T}|\)称为行列式\(|\boldsymbol{A}|\)的转 置行列式。可以证明： \[ |\boldsymbol{A}|=|\boldsymbol{A}^\mathrm{T}| \]

• 满秩、可逆与行列式： 对于方阵\(\boldsymbol{A}\)有： \[ |\boldsymbol{A}|\ne 0\iff \boldsymbol{A}\ 满秩、iff \boldsymbol{A}\ 可逆 \]

• 行列式的数乘： 行列式乘以 k 倍，等于某行（列）乘以 k，该性质也可以称为行列式的数乘： \[ {\color {blue}k} \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11}&a_{12}&\dots&a_{1n}\\ \vdots &\vdots &\ddots &\vdots\\ {\color {blue}k}a_{i1}&{\color{blue}k}a_{i2}&\dots&{\color{blue}k}a_{in}\\ \vdots &\vdots &\ddots &\vdots \\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11}&\dots&{\color {blue}k}a_{1j}&\dots &a_{1n}\\ \vdots &\dots&{\color {blue}k}a_{2j} &\dots &\vdots \\ \vdots &\ddots&\vdots&\ddots &\vdots \\a_{n1}&\dots&{\color {blue}k}a_{nj}&\dots &a_{nn} \end{vmatrix} \]

• 行或列互换： 行列式中的行（列）互换后，行列式正负号发生改变： \[ \begin{vmatrix} \vdots &\vdots &\vdots &\vdots \\ {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\\ \vdots &\vdots &\vdots &\vdots \\ {\color{ForestGreen}{a_{j1}}}&{\color{ForestGreen}{a_{j2}}}&\dots&{\color{ForestGreen}{a_{jn}}}\\ \vdots &\vdots &\vdots &\vdots \\ \end{vmatrix} = -\begin{vmatrix} \vdots &\vdots &\vdots &\vdots \\ {\color{ForestGreen}{a_{j1}}}&{\color{ForestGreen}{a_{j2}}}&\dots&{\color{ForestGreen}{a_{jn}}}\\ \vdots &\vdots &\vdots &\vdots \\ {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\\ \vdots &\vdots &\vdots &\vdots \\ \end{vmatrix} \]

• 行列式的倍加： 将一行（列）的 k 倍加进另一行（列）里，行列式的值不变，该性质也可以称为行列式的倍加： \[ \begin{vmatrix} \vdots &\vdots &\vdots &\vdots \\ a_{i1}&a_{i2}&\dots &a_{in}\\ a_{j1}&a_{j2}&\dots &a_{jn}\\ \vdots &\vdots &\vdots &\vdots \end{vmatrix} = \begin{vmatrix} \vdots &\vdots &\vdots &\vdots\\ a_{i1}&a_{i2}&\dots &a_{in}\\ a_{j1}{\color{blue}{+ka_{i1}}}&a_{j2}{\color{blue}{+ka_{i2}}}&\dots&a_{jn}{\color{blue}{+ka_{in}}}\\ \vdots &\vdots &\vdots &\vdots \end{vmatrix} \]

• 行列式的加法： 在行列式中，某一行（列）的每个元素是两数之和，则此行列式可拆分为两个相加的行列式，该性质也可以称为行列式的加法： \[ \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots\\ {\color{blue}{a_{i1}}}+{\color{ForestGreen}{b_{i1}}}&{\color{blue}a_{i2}}+{\color{ForestGreen}{b_{i2}}}&\dots&{\color{blue}{a_{in}}}+{\color{ForestGreen}{b_{in}}}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots\\ {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} + \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots \\{\color{ForestGreen}{b_{i1}}}&{\color{ForestGreen}{b_{i2}}}&\dots &{\color{ForestGreen}{b_{in}}}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} \]

• 行列式的乘法： 对于同阶方阵\(\boldsymbol{A},\boldsymbol{B}\)，有： \[ |\boldsymbol{A}\boldsymbol{B}|=|\boldsymbol{A}||\boldsymbol{B}| \] 该性质又称为行列式的乘法。

• 三角行列式的计算法： \[ |\boldsymbol{A}|= \begin{vmatrix} a_{11}&&&\\ a_{21}&a_{22}&&0\\ \vdots &\vdots &\ddots &\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = a_{11}a_{22}\cdots a_{nn} \]

• 三角分块行列式的计算法： 设有分块矩阵： \[ \boldsymbol{A}=\begin{pmatrix}\boldsymbol{B}&\boldsymbol{O}\\\boldsymbol{C}&\boldsymbol{D}\end{pmatrix} \] 则有： \[ |\boldsymbol{A}|=|\boldsymbol{B}||\boldsymbol{D}| \] 该性质也称为三角分块行列式的计算法。

• 拉普拉斯展开： n 阶方阵\(\boldsymbol{A}=(a_{ij})\)的行列式可以表示成关于该方阵\(\boldsymbol{A}\)的某一行的各元素与其对应的代数余子式乘积之和，即： \[ |\boldsymbol{A}|=a_{i1}A_{i1}+a_{i2}A_{i2}+...+a_{in}A_{in}\quad (i=1,2,...,n) \] 或表示成关于该方阵 A 的某一列的各元素与其对应的代数余子式乘积之和： \[ |\boldsymbol{A}|=a_{1j}A_{1j}+a_{2j}A_{2j}+...+a_{nj}A_{nj}\quad (j=1,2,...,n) \] 这种计算行列式的方法称为拉普拉斯展开（Laplace expansion）。

克拉默法则

有 n 个未知数，n 个方程所组成的线性方程组，它的系数矩阵是 n 阶方阵\(\boldsymbol{A}\)。如果对应的行列式\(|\boldsymbol{A}|\)不等于 0，即：

\[ |\boldsymbol{A}|=\begin{vmatrix}a_{11}&\cdots&a_{1n}\\\vdots&&\vdots\\a_{n1}&\cdots&a_{nn}\end{vmatrix}\neq 0 \]

则方程组有唯一解，并且解为：

\[ \displaystyle x_1=\frac{|\boldsymbol{A}_1|}{|\boldsymbol{A}|},\quad x_2=\frac{|\boldsymbol{A}_2|}{|\boldsymbol{A}|},\quad...,\quad x_n=\frac{|\boldsymbol{A}_n|}{|\boldsymbol{A}|} \]

其中\(\boldsymbol{A}_j(j=1,2,...,n)\)是把系数矩阵\(\boldsymbol{A}\)中第 j 列的元素用方程组右端的常数项代替后所得到的 n 阶矩阵，即：

\[ \boldsymbol{A}_j=\begin{pmatrix} a_{11}&\cdots&a_{1,j-1}&{\color{red}{b_1}}&a_{1,j+1}&\cdots&a_{1n}\\ \vdots&&\vdots&{\color{red}{\vdots}}&\vdots&&\vdots\\ a_{n1}&\cdots&a_{n,j-1}&{\color{red}{b_n}}&a_{n,j+1}&\cdots&a_{nn} \end{pmatrix} \]

这就是克拉默法则（Cramer's Rule），也称为克莱姆法则。

相似矩阵

基变换

已知两个基\(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s}\)以及\(\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\)，当且仅当它们是同一个向量空间的基时，那么存在唯一的矩阵 P，使得下式成立： \[ (\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s})=(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s})P \] 该矩阵 P 称为由基\(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m}_s\)到基\(\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\)的过渡矩阵（Transition matrix），而上述公式称为基变换公式（Change of basis formula）。

过渡矩阵是满秩矩阵。

坐标变换

已知\(P\)为由基\(\mathcal{M}=\{\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m}_s\}\)到基\(\mathcal{N}=\{\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\}\)的过渡矩阵：

\[ (\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s})=(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s})P \]

又知向量\(\boldsymbol{x}在基、mathcal{M}\)下的坐标为\([\boldsymbol{x}]_\mathcal{M}\)以及在基\(\mathcal{N}\)下的坐标为\([\boldsymbol{x}]_\mathcal{N}\)，则有坐标变换公式（Change of coordinates formula）：

\[ [\boldsymbol{x}]_\mathcal{N}= P^{-1}[\boldsymbol{x}]_\mathcal{M},\quad [\boldsymbol{x}]_\mathcal{M}= P[\boldsymbol{x}]_\mathcal{N} \]

基变换和坐标变换的区别在于，前者是右乘过渡矩阵\(P\)，后者是左乘\(P^{-1}\)：

相似矩阵

设\(A,B\)都是\(n\)阶方阵，若有可逆矩阵\(P\)，使得：

\[ B=P^{-1}AP \]

则称 P 为相似变换矩阵（Similarity transformation matrix），称 B 是 A 的相似矩阵（Similar matrix），记作：

\[ A\simeq B \]

相似矩阵其实就是改变矩阵函数的基

相似矩阵的性质

若\(A\simeq B\)，则：

\[ A^k\simeq B^k,\quad k\in\mathbb{Z}^+ \]

\[ A^\mathrm{T}\simeq B^\mathrm{T} \]

若\(A\simeq B\)，且\(A、B\)可逆，则：

\[ A^{-1}\simeq B^{-1} \]

\[ A^*\simeq B^* \]

若\(A\simeq B，B\simeq C\)，那么：

\[ A\simeq C \]

特征值与特征向量

特征值与特征向量

定义

设 A 是 n 阶方阵，\(\boldsymbol{x}\)为非零向量，若存在数\(\lambda\)使得下式成立：

\[ A\boldsymbol{x}=\lambda\boldsymbol{x} \]

那么将数\(\lambda\)称为 A 的特征值（Eigenvalue），非零向量\(\boldsymbol{x}\)称为\(A\)的对应于\(\lambda\)的特征向量（Eigenvector）。

求解

求解步骤还是比较简单，就是通过解下列方程组来求出特征值和特征向量：

\[ \begin{cases}|A-\lambda I| = 0\\\\ (A-\lambda I)\boldsymbol{x} = \boldsymbol{0} \end{cases}\Longrightarrow \begin{cases}\lambda = ? \\\\ \boldsymbol{x} = ?\end{cases} \]

更具体的步骤是，先通过第一个式子求出特征值：

\[ |A-\lambda I| = 0\implies \lambda_1,\lambda_2,\cdots,\lambda_i,\cdots\lambda_n \]

然后将、lambda_i 代入 (A-I)=求出该线性方程组的解集：

\[ (A-\lambda_i I)\boldsymbol{x}=\boldsymbol{0}\implies \boldsymbol{x}=? \]

该解集必然为向量空间，因为其中都是特征值为、lambda_i 的特征向量（零向量除外），所以也称为特征值为\(\lambda_i\)的特征空间（Eigenspace）。

特征多项式与特征方程

假设： \[ A=\begin{pmatrix}a_{11}& a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}& \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}\end{pmatrix} \]

那么\(|A-\lambda I| = 0\)可以写作：

\[ |A-\lambda I|=\begin{vmatrix} a_{11}-\lambda & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}-\lambda & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}-\lambda \end{vmatrix}=0 \]

其中\(|A-\lambda I|\)展开后就是关于特征值\(\lambda\)的多项式，所以称为特征多项式（Characteristic polynomial）：

\[ \underbrace{\left|\begin{array}{cccc}a_{11}-\lambda & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}-\lambda & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}-\lambda\end{array}\right|}_{|A-\lambda I|}=c_0\lambda^{n}+c_1\lambda^{n-1}+\cdots+c_n \]

进而\(|A-\lambda I| = 0\)被称为特征方程（Characteristic equation）。

已知\(\lambda_1,\lambda_2,\cdots,\lambda_m\)是\(n\)阶方阵\(A\)相异的特征值，以及\(\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_m\)是\(\lambda_1,\lambda_2,\cdots,\lambda_m\)对应的特征向量，则向量组\(\{\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_m\}\)线性无关。

不同特征值的特征向量是线性无关的。

对角化

如果\(n\)阶方阵\(A\)有\(n\)个线性无关的特征向量\(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}\)，那么如下矩阵：

\[ P=(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}) \]

可以使得：

\[ A=P\Lambda P^{-1} \]

其中\(\Lambda\)为如下对角阵

\[ \Lambda=\left(\begin{array}{llll}\lambda_{1} & & & \\ & \lambda_{2} & & \\ & & \ddots & \\ & & & \lambda_{n}\end{array}\right) \]

其中的\(\lambda_1,\lambda_2,\cdots,\lambda_n\)为特征向量\(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}\)对应的特征值，该过程称为对角化（Diagonalizable）。

正交矩阵

已知\(\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_r\)是向量空间\(V\)的一个基，如果两两正交，即满足：

\[ \boldsymbol{p}_i\cdot\boldsymbol{p}_j=0,\quad i\ne j \]

那么称其为正交基（Orthogonal basis）。如果还满足长度均为 1，即：

\[ \boldsymbol{p}_1\cdot\boldsymbol{p}_1=\boldsymbol{p}_2\cdot\boldsymbol{p}_2=\cdots=\boldsymbol{p}_r\cdot\boldsymbol{p}_r=1 \]

那么，就称为标准正交基（Orthonormal basis）。

假设\(\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_n\)是向量空间\(\mathbb{R}^n\)的一个标准正交基，那么由它们构造的\(n\)阶方阵\(P\)也称为正交矩阵（Orthogonal Matrix）：

\[ P=(\boldsymbol{p}_1,\boldsymbol{p_2},\cdots,\boldsymbol{p}_n) \]

该方阵 P 必然满足：

\[ P^\mathrm{T}P=P^{-1}P=I \]

即\(P^\mathrm{T}\)就是\(P\)的逆矩阵。

施密特正交化

如果\(\boldsymbol{x}_1,\boldsymbol{x_2},\cdots\boldsymbol{x_n}\)是某向量空间的基，那么通过下述方法就可以找到该向量空间的正交基\(\boldsymbol{v}_1,\boldsymbol{v_2},\cdots\boldsymbol{v_n}\)，该方法被称为施密特正交化（Gram–Schmidt process）：

\[ \boldsymbol{x_1},\cdots,\boldsymbol{x_n} \xrightarrow{\quad\text{施密特正交化}\quad} \begin{cases} \boldsymbol{v_1}=\boldsymbol{x_1}\\ \quad\\ \boldsymbol{v_2}=\boldsymbol{x_2}-\frac{\boldsymbol{x_2}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}\\ \quad\\ \boldsymbol{v_3}=\boldsymbol{x_3}-\frac{\boldsymbol{x_3}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}-\frac{\boldsymbol{x_3}\cdot\boldsymbol{v_2}}{\boldsymbol{v_2}\cdot\boldsymbol{v_2}}\boldsymbol{v_2}\\ \quad\\ \qquad\qquad\vdots\\ \\ \boldsymbol{v_n}=\boldsymbol{x_n}-\frac{\boldsymbol{x_n}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}-\cdots-\frac{\boldsymbol{x_n}\cdot\boldsymbol{v_{n-1}}}{\boldsymbol{v_{n-1}}\cdot\boldsymbol{v_{n-1}}}\boldsymbol{v_{n-1}} \end{cases} \]

正交对角化

如果矩阵\(A\)是对称阵，且其中的每一个元素都是实数，那么称之为实对称阵（Real symmetric matrices）。此时有如下性质：

若\(\lambda_1,\lambda_2\)是实对称阵 A 相异的特征值，\(\boldsymbol{p}_1,\boldsymbol{p}_2\)是\(\lambda_1,\lambda_2\)对应的特征向量，则有\(\boldsymbol{p}_1\)与\(\boldsymbol{p}_2\)正交，即：

\[ \boldsymbol{p_1}\cdot\boldsymbol{p_2}=0 \]

对于\(n\)阶方阵\(A\)，如果存在正交矩阵\(P\)和对角阵\(\Lambda\)使得：

\[ A=P\Lambda P^{-1}=P\Lambda P^\mathrm{T} \]

那么就称该方阵\(A\)可正交对角化（Orthogonal diagonalizable）。

正交对角化是对角化的一种特殊情况，这里进行一下对比：

• n 阶方阵 A 可对角化，当且仅当有 n 个线性无关的特征向量
• n 阶方阵 A 可正交对角化，当且仅当有 n 个正交的特征向量，此时这 n 个特征向量必然也线性无关

可以证明 A 可正交对角化的充要条件是 A 为对称阵，即： \[ A\ 可正交对角化、iff A\ 是对称阵 \]

相似矩阵中的不变量

如果 A 和 B 是相似矩阵，那么两者的特征值相同：

\[ A\simeq B\implies A,B 的特征值相同 \]

如果\(\boldsymbol{A}\)和\(\boldsymbol{B}\)是相似矩阵，那么两者的行列式相同：

\[ \boldsymbol{A}\simeq \boldsymbol{B}\implies |\boldsymbol{A}|=|\boldsymbol{B}| \]

对于\(n\)阶方阵\(\boldsymbol{A}\)，其主对角线（从左上方至右下方的对角线）的元素之和称为迹（Trace），记作\(tr(\boldsymbol{A})\)：

参考文献

《马同学的线性代数》
感兴趣的可以购买他的课程，写的很好（强烈推荐）！！！