原图

向量空间

向量

n 个有序的数\(a_1,a_2,...,a_n\)所组成的数组称为\(n\) 维向量,这\(n\)个数称为该向量的\(n\)个分量,第\(i\)个数\(a_i\)称为第\(i\)个分量。\(n\)维向量可写成一行,也可写成一列。分别称为行向量和列向量:

  • n 维列向量:

\[ \begin{pmatrix}a_1\\a_2\\\vdots\\a_n\end{pmatrix} \]

  • 与 n 维行向量:

\[ (a_1,a_2,...,a_n)\quad 或、quad \begin{pmatrix}a_1&a_2&\cdots&a_n\end{pmatrix} \]

\(n\)也称为该向量的维数。

向量的基本运算法则

\[ \begin{array}{c|c} \hline \\ \quad 加法、quad & \quad\begin{aligned} 交换律、\ 结合律 \end{aligned}\quad & \quad\begin{aligned}\boldsymbol{v}+\boldsymbol{u}=\boldsymbol{u}+\boldsymbol{v}\qquad\quad\\ \boldsymbol{u}+\boldsymbol{v}+\boldsymbol{w}=\boldsymbol{u}+(\boldsymbol{v}+\boldsymbol{w}) \end{aligned}\quad\\ \\ \hline \\ \quad 数乘、quad & \quad\begin{aligned} 交换律、\ 结合律、\分配律 \end{aligned}\quad & \quad\begin{aligned}k\cdot\boldsymbol{u}=\boldsymbol{u}\cdot k\qquad\ \ \\ k\cdot m\cdot\boldsymbol{u}=k\cdot(m\cdot\boldsymbol{u})\\k(\boldsymbol{u}+\boldsymbol{v})=k\boldsymbol{u}+k\boldsymbol{v}\ \ \end{aligned}\quad\\ \\ \hline \end{array} \]

线性组合

  • 向量组: 若干同维数的列向量(或者同维数的行向量)所组成的集合,叫做向量组。比如同维数 的向量\(\boldsymbol{a_1},\boldsymbol{a_2},...\boldsymbol{a_m}\),可 以组成向量组\(\mathcal{A}\),通常记作:

    \[ \mathcal{A}:\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol {a_m}\quad 或、quad \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol {a_2},...,\boldsymbol{a_m}\} \]

  • 线性相关: 给定向量组\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},..., \boldsymbol{a_m}\}\)和向量\(\boldsymbol{b_{}}\),如果存在一组实数\(k_1, k_2,...k_m\),使:

    \[ \boldsymbol{b_{}}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+... +k_m\boldsymbol{a_m} \]

    则称向量\(\boldsymbol{b_{}}\)能由向量组\(\mathcal{A}\) 线性表示,或称向量 \(\boldsymbol{b_{}}\)是向量组\(\mathcal{A}\)的线性组合。

  • 线性相关和线性无关: 给定向量组\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},..., \boldsymbol{a_m}\}\),如果存在不全为零的实数\(k_1,k_2,...k_m\),使:

    \[ k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+...+k_m\boldsymbol{a_m} =\boldsymbol{0} \]

    则称向量组\(\mathcal{A}\)是线性相关的,否则称它为线性无关。

向量空间

\(\mathcal{V}\)为一向量组,如果\(\mathcal{V}\)非空,且\(\mathcal{V}\)对于向量的加法及数乘两种运算封闭,那么就称\(\mathcal{V}\)为向量空间。

所谓封闭,是指在\(\mathcal{V}\)中向量进行数乘和加减,其结果依然在\(\mathcal{V}\)中。具体的说,就是:

  • \(\boldsymbol{a}\in \mathcal{V},\boldsymbol{b}\in \mathcal{V}\),则\(\boldsymbol{a}+\boldsymbol{b} \in \mathcal{V}\)
  • \(\boldsymbol{a}\in \mathcal{V},k\in \mathbb{R}\),则\(k\boldsymbol{a} \in \mathcal{V}\)

张成空间

张成空间的定义

某向量组\(\mathcal{A}=\{\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p}\}\),其所有线性组合构成的集合为向量空间,也称为向量组\(\mathcal{A}\)的张成空间,记为\(span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})\),即:

\[ span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})=\{k_1\boldsymbol{v_1}+k_2\boldsymbol{v_2}+...+k_p\boldsymbol{v_p},k_{1,2,...,p}\in\mathbb{R}\} \]

也称\(span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})\)为向量组\(\mathcal{A}\)所张成。

等价向量组

设有两个向量组\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_m}\}\)\(\mathcal{B}=\{\boldsymbol{b_1},\boldsymbol{b_2},...,\boldsymbol{b_n}\}\),若向量组\(\mathcal{B}\)中的每个向量都能由向量组\(\mathcal{A}\)线性表示,则称向量组\(\mathcal{B}\)能由向量组\(\mathcal{A}\)线性表示。

若向量组\(\mathcal{A}\)与向量组\(\mathcal{B}\)能相互线性表示,则称这两个向量组等价,也可以说\(\mathcal{A}\)\(\mathcal{B}\)是等价向量组。

最大无关组

设有向量组\(\mathcal{A}\),如果在\(\mathcal{A}\)中能选出\(r\)个向量\(\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_r}\)满足:

  • 向量组\(\mathcal{A}_0=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_r}\}\)线性无关。
  • 向量组\(\mathcal{A}\)中任意\(r+1\)个向量(如果\(\mathcal{A}\)中有\(r+1\)个向量的话)都线性相关,那么称向量组\(\mathcal{A}_0\)是向量组\(\mathcal{A}\)的一个最大线性无关组,简称最大无关组。

向量组的秩

假设向量组\(A\)的最大无关组为: \[ \mathcal{A}_0=\{a_1,a_2,\cdots,a_r\} \]

\(\mathcal{A}_0\)的向量个数\(r\)称为向量组\(\mathcal{A}\)的秩,记做\(rank(\mathcal{A})\),有时也记作\(r(\mathcal{A})\)

向量空间的基

  • 基: 已知\(\mathcal{V}\)为向量空间,如果其中的某向量组:

    \[ \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...\boldsymbol {a_n}\} \]

    \(\mathcal{V}\)的最大无关组,那么向量组\(\mathcal{A}\)被称为向量空间 \(\mathcal{V}\)的一个基。

  • 坐标: 假设\(\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_n}\}\)是向量空间\(\mathcal{V}\)的一个基,则\(\mathcal{V}\)中每个向量\(\boldsymbol{x}\)可唯一地表示为: \[ \boldsymbol{x}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+\cdots +k_n\boldsymbol{a_n} \] 上式的系数可以组成向量: \[ [\boldsymbol{x}]_\mathcal{A}=\begin{pmatrix}k_1\\k_2\\\vdots\\k_n\end{pmatrix} \] 我们将其称为\(\boldsymbol{x}\)在基\(\mathcal{A}\)下的坐标向量,或者简称为\(\boldsymbol{x}\)在基\(\mathcal{A}\)下的坐标。

  • 维度: 假设向量空间\(\mathcal{V}\)的基为: \[ \mathcal{A}=\{a_1,a_2,\cdots,a_r\} \]\(\mathcal{A}\)的秩\(r\)称为该向量空间的维度,或者称\(\mathcal{V}\)\(r\)维向量空间。

数量积(点积)

点积的定义

向量\(\boldsymbol{x}=\begin{pmatrix}x_1\\\vdots\\x_n\end{pmatrix}\)\(\boldsymbol{y}=\begin{pmatrix}y_1\\\vdots\\y_n\end{pmatrix}\)的点积\((dot product)\),或称内积\((inner product)\),定义为:

\[ \boldsymbol{x}\cdot\boldsymbol{y}=x_1y_1+\cdots+x_ny_n=\displaystyle\sum_{i=1}^{n}x_iy_i \]

点积还可以称为数量积或者标量积,这是因为两个向量通过点积运算之后的结果是数量(标量)。

点积的性质

\[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad \boldsymbol{a}\cdot\boldsymbol{b}=\boldsymbol{b}\cdot\boldsymbol{a}\quad\\ \quad 数乘结合律、quad&\quad (k\boldsymbol{a})\cdot\boldsymbol{b}=k(\boldsymbol{b}\cdot\boldsymbol{a})\quad\\ \quad 分配律、quad&\quad (\boldsymbol{a}+\boldsymbol{b})\cdot\boldsymbol{c}=\boldsymbol{a}\cdot\boldsymbol{c}+\boldsymbol{b}\cdot\boldsymbol{c}\quad\\ \\ \hline \end{array} \]

矩阵和矩阵运算

矩阵的定义

\(m\times n\)个数\(a_{ij}(i=1,2,...m;j=1,2...n)\)排成的\(m\)\(n\)列的数表称为\(m\)\(n\)列矩阵\((Matrix)\),简称\(m\times n\)矩阵。为表示这些数字是一个整体,总是加一个括弧,下面就表示了矩阵\(A\)

\[ A=\underbrace{\begin{pmatrix}a_{11}&a_{12}&...&a_{1n}\\a_{21}&a_{22}&...&a_{2n}\\...&...&&...\\a_{m1}&a_{m2}&...&a_{mn}\end{pmatrix}}_{\large n 列}\left.\begin{aligned}\\\\\\\\\end{aligned}\right\}m 行 \]

可以用\(a_{ij}\)\(a_{i,j}\)来表示该矩阵\(A\)的第\(i\)\(j\)列的数字,刚才的矩阵还可以简记为:

\[ A=(a_{ij})=(a_{i,j}) \]

为了表示矩阵的行数和列数,\(m\times n\)矩阵\(A\)也记作\(A_{m\times n}\)

高斯消元法

  • 行阶梯形矩阵: 非零矩阵若满足:
    • 非零行在零行(如果存在的话)的上面
    • 非零行最左边的首非零元素在上一行(如果存在的话)的首非零元素的右面

    所以称为行阶梯形矩阵(Row echelon form),非零行最左边的首非零元素称为主元(Pivot element)。

  • 对角矩阵: 若 n 阶方阵如下: \[ \Lambda_{n}=\begin{pmatrix}\lambda_1&0&...&0\\0&\lambda_2&...&0\\...&...&&...\\ 0&0&...&\lambda_n\end{pmatrix} \] 对角线以外的元素都是 0,这种方阵称为对角矩阵(Diagonal matrix),简称对角阵,也记作: \[ \Lambda_{n}=diag(\lambda_1,\lambda_2,...,\lambda_n) \]

  • 单位阵: 如果 n 阶对角阵的对角线上的元素全为 1: \[ I_n=\begin{pmatrix}1&0&...&0\\0&1&...&0\\...&...&&...\\ 0&0&...&1\end{pmatrix} \] 该对角阵称为 n 阶单位矩阵(Identity matrix),或者简称为单位阵。在国内教材中,单位阵一般用 E 表示。

  • 行最简形矩阵: 若 A 是行阶梯形矩阵,并且还满足:
    • 主元为 1
    • 除主元外,其所在列的其它元素均为 0

    则称 A 为行最简形矩阵(Reduced row echelon form).

  • 初等行变换和初等行矩阵: 完成高斯消元法只需要三种操作,这三种操作是作用在矩阵的行上的,所以又称为初等行变换(Elementary row operations)。在单位阵上应用这三种初等行变换一次得到的矩阵称为初等行矩阵(Elementary row matrix),也就是下列表格中最右的矩阵: \[ \begin{array}{c|c|c} \hline \quad 初等行变换、quad &\quad 操作、quad &\quad 初等行矩阵、quad\\ \hline \\ \quad \begin{aligned}\color{SkyBlue}{倍加变换} \qquad\qquad\quad\\\text{row-addition transformations}\end {aligned}\quad &\quad \boldsymbol{r_1}'=\boldsymbol{r_1} +k\boldsymbol{r_2}\quad &\quad \begin{pmatrix}1&{\color{red} {k}}&0\\0&1&0\\0&0&1\end{pmatrix}\quad \\ \hline \\ \quad \begin{aligned}\color{Goldenrod}{倍乘变换} \qquad\qquad\quad\\\text{row-multiplying transformations} \end{aligned}\quad &\quad \boldsymbol{r_1}'=k\boldsymbol {r_1} (k\neq 0)\quad & \quad \begin{pmatrix}{\color{red}{k}}&0&0\\0&1&0\\0&0&1\end {pmatrix}\quad \\ \\ \hline \\ \quad \begin{aligned}\color{orange}{对换变换} \qquad\qquad\quad\\\text{row-switching transformations}\end {aligned}\quad &\quad \boldsymbol{r_1}\leftrightarrow \boldsymbol{r_2}\quad & \quad \begin{pmatrix}{\color{red}{0}}&{\color{red}{1}}& {\color{red}{0}}\\ {\color{red}{1}}&{\color{red}{0}}&{\color{red}{0}}\\0&0& 1\end{pmatrix}\quad \\ \\ \hline \end{array} \]

    初等行矩阵乘上矩阵 A,就相当于在矩阵 A 上实施了对应的初等行变换。

矩阵的加法与乘法

两个矩阵的行数相等、列数也相等时,就称它们是同型矩阵。

  • 加法: 设有两个\(m\times n\)矩阵\(A=(a_{ij})\)\(B=(b_{ij})\),那么矩阵\(A\)\(B\)的和记做\(A+B\),规定为: \[ A+B=\begin{pmatrix}a_{11}+b_{11}&a_{12}+b_{12}&...&a_{1n}+b_{1n}\\a_{21}+b_{21}&a_{22}+b_{22}&...&a_{2n}+b_{2n}\\ ...&...&&...\\a_{m1}+b_{m1}&a_{m2}+b_{m2}&...&a_{mn}+b_{mn}\end{pmatrix} \]

  • 矩阵加法运算规律: \[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad A+B=B+A\quad\\ \quad 结合律、quad&\quad (A+B)+C=A+(B+C)\quad\\ \\ \hline \end{array} \]

  • 矩阵数乘: 数\(k\)与矩阵\(A\)的乘积记作: \[ kA\quad 或、quad Ak \] 规定为: \[ kA=Ak= \begin{pmatrix} ka_{11}&ka_{12}&\cdots&ka_{1n}\\ ka_{21}&ka_{22}&\cdots&ka_{2n}\\ \cdots&\cdots& &\cdots\\ ka_{m1}&ka_{m2}&\cdots&ka_{mn}\end{pmatrix} \]

  • 数乘的运算规律: \[ \begin{array}{c|c} \hline \\ \quad 结合律、quad&\quad (\lambda\mu) A=\lambda(\mu A)\quad\\ \\ \quad 分配律、quad&\quad \begin{aligned}(\lambda+\mu) A=\lambda A+\mu A\\\lambda(A+B)=\lambda A+\lambda B\end {aligned}\quad\\ \\ \hline \end{array} \]

  • 矩阵乘法的定义: 设\(A=(a_{ij})\)是一个\(m\times s\)矩阵,\(B=(b_{ij})\)是一个\(s\times n\)矩阵,那么规定\(A\)\(B\)的乘积是一个\(m\times n\)矩阵\(C=(c_{ij})\),其中: \[ c_{ij}=\boldsymbol{a}_{i*}\cdot\boldsymbol{b}_{*j}=a_{i1}b_{1j} +a_{i2}b_{2j}+...+a_{is}b_{sj}=\displaystyle \sum_{k=1}^s a_{ik} b_{kj} (i=1,\cdots,m;j=1,\cdots,n) \] 并把乘积记作: \[ C=AB \]

  • 矩阵乘法运算规律: \[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad 不一定满足、quad\\ \quad 数乘交换律、quad&\quad \lambda(AB)=(\lambda A)B=A (\lambda B)(其中、lambda 是数)\quad\\ \quad 结合律、quad&\quad (AB)C=A(BC)\quad\\ \quad 分配律、quad&\quad A(B+C)=AB+AC\quad\\ \\ \hline \end{array} \]

矩阵的幂与转置

类似于\(x^n\)称为\(x\)的幂运算,矩阵也有幂运算,也称为矩阵的幂: 设\(A\)是方阵,定义:

\[ A^1=A,\quad A^2=A^1A^1,\quad\cdots,\quad A^{k+1}=A^kA^1 \]

其中 k 为正整数。

  • 矩阵的转置: 把矩阵\(A\)的行换成同序数的列,该操作称为矩阵的转置运算。转置运算后可以得到一个新矩阵,该矩阵称为 A 的转置矩阵,记作\(A^\mathrm{T}\)。或者用符号表示如下: \[ A=(a_{ij}),\quad A^\mathrm{T}=(a_{ji}) \]

  • 转置的性质: \[ (A^\mathrm{T})^\mathrm{T}=A \] (AB)=BA \[ (A^\mathrm{T})^n=(A^n)^\mathrm{T} \] (A+B)=A+B \[ 对于两个同维向量$\boldsymbol{x}$和$\boldsymbol{y}$,有: \] ^=() $$

  • 对称矩阵与反对称矩阵: 若: \[ A^T=A \] 则矩阵 A 称为对称矩阵。

    若: \[ A^T=-A \] 则矩阵 A 称为反对称矩阵。

矩阵函数

其实,任给一个 RGB 都可以如上转为对应的\(YP_rP_b\)。为了表明这一点,我们用未知向量\(\boldsymbol{x}、\boldsymbol{y}\)来替换常向量\(\boldsymbol{a}、\boldsymbol{b}\)

\[ \underbrace{\begin{pmatrix}0.299&0.587&0.114\\0.5&-0.418688&-0.081312\\-0.168736&-0.331264&0.5\end{pmatrix}}_{\large \boldsymbol{A}}\ \underbrace{\begin{pmatrix}R\\G\\B\end{pmatrix}}_{\large \boldsymbol{x}}\ =\ \underbrace{\begin{pmatrix}Y\\P_r\\P_b\end{pmatrix}}_{\large \boldsymbol{y}} \]

这样就得到了函数\(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{y}()\),也称为矩阵函数,其输入为\(\boldsymbol{x}\),输出为\(\boldsymbol{y}\)

矩阵函数的性质

\[ \begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad 不一定满足、quad\\ \quad 数乘交换律、quad&\quad \lambda(AB)=(\lambda A)B=A(\lambda B)(其中、lambda 是数)\quad\\ \quad 结合律、quad&\quad (AB)C=A(BC)\quad\\ \quad 分配律、quad&\quad A(B+C)=AB+AC\quad\\ \\ \hline \end{array} \]

矩阵的秩

行秩和列秩

列空间

矩阵 A 的列向量为:

\[ A= \begin{pmatrix} {\color{green}{a_{11}}}&{\color{blue}{a_{12}}}&\cdots&{\color{purple}{a_{1n}}}\\ {\color{green}{a_{21}}}&{\color{blue}{a_{22}}}&\cdots&{\color{purple}{a_{2n}}}\\ \vdots&\vdots&\quad&\vdots\\ {\color{green}{a_{m1}}}&{\color{blue}{a_{m2}}}&\cdots&{\color{purple}{a_{mn}}} \end{pmatrix} =({\color{green}{\boldsymbol{c_1}}},{\color{blue}{\boldsymbol{c_2}}},\cdots,{\color{purple}{\boldsymbol{c_n}}}) \]

包含所有列向量的向量组称为列向量组,即:

\[ 列向量组:\{\boldsymbol{c_1},\boldsymbol{c_2},\cdots,\boldsymbol{c_n}\} \]

列向量组的张成空间称为列空间,记作\(colsp(A)\),即:

\[ \begin{aligned} colsp(A) &=span(\{\boldsymbol{c_1},\boldsymbol{c_2},\cdots,\boldsymbol{c_n}\})\\ &=x_1\boldsymbol{c_1}+x_2\boldsymbol{c_2}+\cdots+x_n\boldsymbol{c_n},\quad x_{1,2,\cdots,n}\in\mathbb{R} \end{aligned} \]

列向量组的秩,也就是列空间的维度,称为列秩,即:

\[ 列秩=rank(colsp(A)) \]

如果列向量组线性无关,就称为列满秩。

行空间

矩阵 A 的行向量为:

\[ A= \begin{pmatrix} {\color{green}{a_{11}}}&{\color{green}{a_{12}}}&\cdots&{\color{green}{a_{1n}}}\\ {\color{blue}{a_{21}}}&{\color{blue}{a_{22}}}&\cdots&{\color{blue}{a_{2n}}}\\ \vdots&\vdots&\quad&\vdots\\ {\color{purple}{a_{m1}}}&{\color{purple}{a_{m2}}}&\cdots&{\color{purple}{a_{mn}}} \end{pmatrix} =\begin{pmatrix}{\color{green}{\boldsymbol{r_1}^\mathrm{T}}}\\{\color{blue}{\boldsymbol{r_2}^\mathrm{T}}}\\\vdots\\{\color{purple}{\boldsymbol{r_m}^\mathrm{T}}}\end{pmatrix} \]

包含所有行向量的向量组称为行向量组,即:

\[ 行向量组:\{\boldsymbol{r_1}^\mathrm{T},\boldsymbol{r_2}^\mathrm{T},\cdots,\boldsymbol{r_m}^\mathrm{T}\} \]

行向量组的张成空间称为行空间,记作\(rowsp(A)\),即:

\[ \begin{aligned} rowsp(A) &=span(\{\boldsymbol{r_1}^\mathrm{T},\boldsymbol{r_2}^\mathrm{T},\cdots,\boldsymbol{r_m}^\mathrm{T}\})\\ &=x_1\boldsymbol{r_1}^\mathrm{T}+x_2\boldsymbol{r_2}^\mathrm{T}+\cdots+x_m\boldsymbol{r_m}^\mathrm{T},\quad x_{1,2,\cdots,m}\in\mathbb{R} \end{aligned} \]

行向量组的秩,也就是行空间的维度,称为行秩,即:

\[ 行秩=rank(rowsp(A)) \]

如果行向量组线性无关,就称为行满秩。

  • 矩阵的秩的定义: 对于任意矩阵,始终有列秩等于行秩,所以统称为矩阵的秩,即: \[ 矩阵的秩=列秩=行秩 \]

    矩阵 A 的秩记作\(rank(A)\),有时也简写为\(r(A)\)

  • 秩的几何意义: 根据自然定义域下,矩阵函数的值域可知,在自然定义域下

    • 列向量矩阵函数\(A\boldsymbol{x}=\boldsymbol{y}\)的值域的维度是列秩
    • 行向量矩阵函数\(\boldsymbol{x}^\mathrm{T}A=\boldsymbol{y}^\mathrm{T}\)的值域的维度是行秩

    因为行秩=列秩=秩,所以当在自然定义域下时,秩就是矩阵函数的值域的维度。下面来看几个例子。

  • 满秩: 如果某个矩阵,既是列满秩,又是行满秩,那么就称该矩阵为满秩矩阵,或者简称为满秩。满秩矩阵必为方阵。

  • 秩的性质:
    • 秩的取值范围: \[ 0\le rank(A_{m\times n})\le\min(m,n) \]

    • 转置矩阵的秩: \[ rank(A)=rank(A^\mathrm{T}) \]

    • 复合函数的秩: \[ rank(AB)\leq\min\Big(rank(A),rank(B)\Big) \]

    • 满秩矩阵复合的秩。假设 P、Q 为满秩矩阵,那么: \[ rank(PA)=rank(AQ)=rank(PAQ)=rank(A) \]

    • 矩阵相加的秩。假设 A、B 为同型矩阵,那么: \[ rank(A+B)\le rank(A)+rank(B) \]

逆矩阵

逆矩阵的定义

若存在两个\(n\)阶方阵\(\boldsymbol{A}、\boldsymbol{C}\),两者的乘积为\(n\)阶单位阵\(\boldsymbol{I}\)

\[ \boldsymbol{A}\boldsymbol{C}=\boldsymbol{I}\qquad 且、qquad \boldsymbol{C}\boldsymbol{A}=\boldsymbol{I} \]

那么\(\boldsymbol{C}\)就是\(\boldsymbol{A}\)的逆矩阵,即有\(\boldsymbol{A}^{-1}=\boldsymbol{C}\),且\(\boldsymbol{A}^{-1}\)是唯一的。

如果可以通过一系列初等行矩阵\(\boldsymbol{E}_i\),将矩阵\(\boldsymbol{A}\)变换成单位阵\(\boldsymbol{I}\),则\(\boldsymbol{A}\)的逆矩阵就是这些初等行矩阵的乘积:

\[ \underbrace{\boldsymbol{E}_1\boldsymbol{E}_2...\boldsymbol{E}_n}_{\boldsymbol{A}^{-1}}\boldsymbol{A}=\boldsymbol{I} \]

逆矩阵的运算规律

\(\boldsymbol{A}\)可逆,则\(\boldsymbol{A}^{-1}\)也可逆,且:

\[ (\boldsymbol{A}^{-1})^{-1}=\boldsymbol{A} \]

\(\boldsymbol{A}\)可逆,数\(\lambda\ne 0\),则\(\lambda\boldsymbol{A}\)可逆,且:

\[ (\lambda\boldsymbol{A})^{-1}=\frac{1}{\lambda}\boldsymbol{A}^{-1} \]

\(\boldsymbol{A}、\boldsymbol{B}\)为同阶方阵且均可逆,则\(\boldsymbol{A}\boldsymbol{B}\)也可逆,且:

\[ (\boldsymbol{A}\boldsymbol{B})^{-1}=\boldsymbol{B}^{-1}\boldsymbol{A}^{-1} \]

\(\boldsymbol{A}\)可逆,则\(\boldsymbol{A}^\mathrm{T}\)也可逆,且:

\[ (\boldsymbol{A}^\mathrm{T})^{-1}=(\boldsymbol{A}^{-1})^\mathrm{T} \]

线性方程组的求解

  • 解的存在性 对于线性方程组\(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}\),它的增广矩阵为\(\boldsymbol{B}=(\boldsymbol{A}\ |\ \boldsymbol{b_{}})\),那么:
    • 有解,当且仅当\(rank(\boldsymbol{A})=rank(\boldsymbol{B})\)
    • 无解,当且仅当\(rank(\boldsymbol{A}) < rank(\boldsymbol{B})\)

    行满秩矩阵一定有解

  • 解的个数判别法: 对于线性方程组\(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}\),它的增广矩阵为\(\boldsymbol{B}=(\boldsymbol{A}\ |\ \boldsymbol{b_{}})\),如果\(\boldsymbol{A}\)\(m\times n\)的矩阵,那么:
    • 有唯一解,当且仅当\(rank(\boldsymbol{A})=rank(\boldsymbol{B})=n\)
    • 有无数解,当且仅当\(rank(\boldsymbol{A})=rank(\boldsymbol{B})<n\)

    满秩矩阵解有唯一解

行列式

行列式定义

二阶行列式

假设有二阶方阵\(\boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{pmatrix}\),那么刚才定义的运算规则称为该二阶方阵\(\boldsymbol{A}\)对应的行列式\(|\boldsymbol{A}|\),也称为二阶行列式:

\[ |\boldsymbol{A}|=\begin{vmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{vmatrix}=a_{11}a_{22}-a_{12}a_{21} \]

上述定义只要求\(\boldsymbol{A}\)是方阵,不要求是满秩矩阵。

三阶行列式

假设有三阶方阵\(\boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{pmatrix}\),那么刚才定义的运算规则称为该三阶方阵\(\boldsymbol{A}\)对应的行列式\(|\boldsymbol{A}|\),也称为三阶行列式:

\[ \begin{aligned} |\boldsymbol{A}| &=\begin{vmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{vmatrix}\\ &=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}-a_{13}a_{22}a_{31} \end{aligned} \]

上述定义也只要求、boldsymbol{A}是方阵,不要求是满秩矩阵。

全排列

把 n 个不同的元素排成一列,叫做这 n 个元素的全排列。

逆序数

在一个排列(也就是数列)中,如果一对数的前后位置与大小顺序相反,即前面的数大于后面的数,那么它们就称为一个逆序。一个排列中逆序的总数就称为该排列的逆序数。逆序数为奇数的排列称为奇排列,逆序数为偶数的排列称为偶排列。

行列式定义

对于\(n\)阶方阵\(\boldsymbol{A}=(a_{ij})\),其行列式定义为:

\[ |\boldsymbol{A}|=|a_{ij}|=\begin{vmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\quad&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{vmatrix}=\sum(-1)^ta_{1p_1}a_{2p_2}\cdots a_{np_n} \]

其中,\(t\)为排列\(p_1p_2\cdots p_n\)的逆序数,\(\sum\)表示对\(“1,2,\cdots,n”\)的全排列\(“p_1p_2\cdots p_n”\)求和。

向量积

向量积\(\boldsymbol{S}\)投影到了各个平面:

\[ \boldsymbol{S}\xrightarrow{\quad 投影、quad} \begin{cases} \boldsymbol{S_{xoy}}\\ \boldsymbol{S_{yoz}}\\ \boldsymbol{S_{zox}} \end{cases} \]

将这些投影加起来就得到了向量积\(\boldsymbol{S}\)

\[ \begin{aligned} \boldsymbol{S} &=\boldsymbol{b}\times\boldsymbol{c}\\ \quad\\ &=\boldsymbol{S_{xoy}}+\boldsymbol{S_{yoz}}+\boldsymbol{S_{zox}}\\ \quad\\ &=\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3}+\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}+\begin{vmatrix}b_3&c_3\\b_1&c_1\end{vmatrix}\boldsymbol{e_2}\\ \quad\\ &=\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}+\begin{vmatrix}b_3&c_3\\b_1&c_1\end{vmatrix}\boldsymbol{e_2}+\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3} \end{aligned} \]

为了方便记忆,上面的式子往往如下书写,这就是向量积的定义: \[ \boldsymbol{b}\times\boldsymbol{c}=\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}-\begin{vmatrix}b_1&c_1\\b_3&c_3\end{vmatrix}\boldsymbol{e_2}+\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3} \]

子式和余子式

子式

\(m\times n\)矩阵\(\boldsymbol{A}\)中,任取 k 行与 k 列\((k\le m,k\le n)\),位于这些行、列交叉处的\(k^2\)个元素,不改变它们在\(\boldsymbol{A}\)中所处的位置次序而得的 k 阶行列式,称为矩阵\(\boldsymbol{A}\)的 k 阶子式(Minor)。

\(\boldsymbol{A}\)\(m\times n\)的矩阵,\(I\)是集合\(\{1,...,m\}\)的一个\(k\)元子集,\(J\)是集合\(\{1,...,n\}\)的一个\(k\)元子集,\(|\boldsymbol{A}|_{I,J}\)\(\boldsymbol{A}\)\(k\)阶子式,其中抽取的 k 行的行号是 I 中所有元素,\(k\)列的列号是\(J\)中所有元素。那么:

  • 如果\(I=J\),称\(|\boldsymbol{A}|_{I,J}为、boldsymbol{A}\)\(k\)阶主子式(Principal minor)。
  • 如果\(I=J=\{1,\cdots,k\}\)所取的是左起前 k 列和上起前\(k\)行),称\(|\boldsymbol{A}|_{I,J}\)\(\boldsymbol{A}\)\(k\)阶顺序主子式(Leading principal minor)。

设在矩阵\(\boldsymbol{A}\)中有一个不等于 0 的 r 阶子式\(|\boldsymbol{B}_{r}|\),且所有\(r+1\)阶子式(如果存在的话)全等于 0,那么\(|\boldsymbol{B}_{r}|\)称为矩阵\(\boldsymbol{A}\)的最高阶非零子式,数 r 称为矩阵\(\boldsymbol{A}\)的秩。(不适合求矩阵的秩,太麻烦)

余子式

在 n 阶行列式中,把\(a_{ij}\)所在的第 i 行和第 j 列划去后,留下来的 n-1 阶行列式叫做\(a_{ij}\)的余子式,记做\(\boldsymbol{M}_{ij}\).

代数余子式

\(a_{ij}\)的余子式\(M_{ij}\)的基础上,还可以定义\(A_{ij}\),称为\(a_{ij}\)的代数余子式: \[ A_{ij}=(-1)^{i+j}M_{ij} \]

总结

行列式的性质

  • 行列式转置: 对于 n 阶方阵\(\boldsymbol{A}=(a_{ij})\),有: \[ |\boldsymbol{A}|= \begin{vmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\quad&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{vmatrix},\quad |\boldsymbol{A}^\mathrm{T}|= \begin{vmatrix} a_{11}&a_{21}&\cdots&a_{n1}\\ a_{12}&a_{22}&\cdots&a_{n2}\\ \vdots&\vdots&\quad&\vdots\\ a_{1n}&a_{2n}&\cdots&a_{nn} \end{vmatrix} \]

    行列式\(|\boldsymbol{A}^\mathrm{T}|\)称为行列式\(|\boldsymbol{A}|\)的转 置行列式。可以证明: \[ |\boldsymbol{A}|=|\boldsymbol{A}^\mathrm{T}| \]

  • 满秩、可逆与行列式: 对于方阵\(\boldsymbol{A}\)有: \[ |\boldsymbol{A}|\ne 0\iff \boldsymbol{A}\ 满秩、iff \boldsymbol{A}\ 可逆 \]

  • 行列式的数乘: 行列式乘以 k 倍,等于某行(列)乘以 k,该性质也可以称为行列式的数乘: \[ {\color {blue}k} \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11}&a_{12}&\dots&a_{1n}\\ \vdots &\vdots &\ddots &\vdots\\ {\color {blue}k}a_{i1}&{\color{blue}k}a_{i2}&\dots&{\color{blue}k}a_{in}\\ \vdots &\vdots &\ddots &\vdots \\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11}&\dots&{\color {blue}k}a_{1j}&\dots &a_{1n}\\ \vdots &\dots&{\color {blue}k}a_{2j} &\dots &\vdots \\ \vdots &\ddots&\vdots&\ddots &\vdots \\a_{n1}&\dots&{\color {blue}k}a_{nj}&\dots &a_{nn} \end{vmatrix} \]

  • 行或列互换: 行列式中的行(列)互换后,行列式正负号发生改变: \[ \begin{vmatrix} \vdots &\vdots &\vdots &\vdots \\ {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\\ \vdots &\vdots &\vdots &\vdots \\ {\color{ForestGreen}{a_{j1}}}&{\color{ForestGreen}{a_{j2}}}&\dots&{\color{ForestGreen}{a_{jn}}}\\ \vdots &\vdots &\vdots &\vdots \\ \end{vmatrix} = -\begin{vmatrix} \vdots &\vdots &\vdots &\vdots \\ {\color{ForestGreen}{a_{j1}}}&{\color{ForestGreen}{a_{j2}}}&\dots&{\color{ForestGreen}{a_{jn}}}\\ \vdots &\vdots &\vdots &\vdots \\ {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\\ \vdots &\vdots &\vdots &\vdots \\ \end{vmatrix} \]

  • 行列式的倍加: 将一行(列)的 k 倍加进另一行(列)里,行列式的值不变,该性质也可以称为行列式的倍加: \[ \begin{vmatrix} \vdots &\vdots &\vdots &\vdots \\ a_{i1}&a_{i2}&\dots &a_{in}\\ a_{j1}&a_{j2}&\dots &a_{jn}\\ \vdots &\vdots &\vdots &\vdots \end{vmatrix} = \begin{vmatrix} \vdots &\vdots &\vdots &\vdots\\ a_{i1}&a_{i2}&\dots &a_{in}\\ a_{j1}{\color{blue}{+ka_{i1}}}&a_{j2}{\color{blue}{+ka_{i2}}}&\dots&a_{jn}{\color{blue}{+ka_{in}}}\\ \vdots &\vdots &\vdots &\vdots \end{vmatrix} \]

  • 行列式的加法: 在行列式中,某一行(列)的每个元素是两数之和,则此行列式可拆分为两个相加的行列式,该性质也可以称为行列式的加法: \[ \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots\\ {\color{blue}{a_{i1}}}+{\color{ForestGreen}{b_{i1}}}&{\color{blue}a_{i2}}+{\color{ForestGreen}{b_{i2}}}&\dots&{\color{blue}{a_{in}}}+{\color{ForestGreen}{b_{in}}}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots\\ {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} + \begin{vmatrix} a_{11}&a_{12}&\dots &a_{1n}\\ \vdots &\vdots &\dots &\vdots \\{\color{ForestGreen}{b_{i1}}}&{\color{ForestGreen}{b_{i2}}}&\dots &{\color{ForestGreen}{b_{in}}}\\ \vdots &\vdots &\ddots &\vdots\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} \]

  • 行列式的乘法: 对于同阶方阵\(\boldsymbol{A},\boldsymbol{B}\),有: \[ |\boldsymbol{A}\boldsymbol{B}|=|\boldsymbol{A}||\boldsymbol{B}| \] 该性质又称为行列式的乘法。

  • 三角行列式的计算法: \[ |\boldsymbol{A}|= \begin{vmatrix} a_{11}&&&\\ a_{21}&a_{22}&&0\\ \vdots &\vdots &\ddots &\\ a_{n1}&a_{n2}&\dots &a_{nn} \end{vmatrix} = a_{11}a_{22}\cdots a_{nn} \]

  • 三角分块行列式的计算法: 设有分块矩阵: \[ \boldsymbol{A}=\begin{pmatrix}\boldsymbol{B}&\boldsymbol{O}\\\boldsymbol{C}&\boldsymbol{D}\end{pmatrix} \] 则有: \[ |\boldsymbol{A}|=|\boldsymbol{B}||\boldsymbol{D}| \] 该性质也称为三角分块行列式的计算法。

  • 拉普拉斯展开: n 阶方阵\(\boldsymbol{A}=(a_{ij})\)的行列式可以表示成关于该方阵\(\boldsymbol{A}\)的某一行的各元素与其对应的代数余子式乘积之和,即: \[ |\boldsymbol{A}|=a_{i1}A_{i1}+a_{i2}A_{i2}+...+a_{in}A_{in}\quad (i=1,2,...,n) \] 或表示成关于该方阵 A 的某一列的各元素与其对应的代数余子式乘积之和: \[ |\boldsymbol{A}|=a_{1j}A_{1j}+a_{2j}A_{2j}+...+a_{nj}A_{nj}\quad (j=1,2,...,n) \] 这种计算行列式的方法称为拉普拉斯展开(Laplace expansion)。

克拉默法则

有 n 个未知数,n 个方程所组成的线性方程组,它的系数矩阵是 n 阶方阵\(\boldsymbol{A}\)。如果对应的行列式\(|\boldsymbol{A}|\)不等于 0,即:

\[ |\boldsymbol{A}|=\begin{vmatrix}a_{11}&\cdots&a_{1n}\\\vdots&&\vdots\\a_{n1}&\cdots&a_{nn}\end{vmatrix}\neq 0 \]

则方程组有唯一解,并且解为:

\[ \displaystyle x_1=\frac{|\boldsymbol{A}_1|}{|\boldsymbol{A}|},\quad x_2=\frac{|\boldsymbol{A}_2|}{|\boldsymbol{A}|},\quad...,\quad x_n=\frac{|\boldsymbol{A}_n|}{|\boldsymbol{A}|} \]

其中\(\boldsymbol{A}_j(j=1,2,...,n)\)是把系数矩阵\(\boldsymbol{A}\)中第 j 列的元素用方程组右端的常数项代替后所得到的 n 阶矩阵,即:

\[ \boldsymbol{A}_j=\begin{pmatrix} a_{11}&\cdots&a_{1,j-1}&{\color{red}{b_1}}&a_{1,j+1}&\cdots&a_{1n}\\ \vdots&&\vdots&{\color{red}{\vdots}}&\vdots&&\vdots\\ a_{n1}&\cdots&a_{n,j-1}&{\color{red}{b_n}}&a_{n,j+1}&\cdots&a_{nn} \end{pmatrix} \]

这就是克拉默法则(Cramer's Rule),也称为克莱姆法则。

相似矩阵

基变换

已知两个基\(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s}\)以及\(\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\),当且仅当它们是同一个向量空间的基时,那么存在唯一的矩阵 P,使得下式成立: \[ (\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s})=(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s})P \] 该矩阵 P 称为由基\(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m}_s\)到基\(\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\)的过渡矩阵(Transition matrix),而上述公式称为基变换公式(Change of basis formula)。

过渡矩阵是满秩矩阵。

坐标变换

已知\(P\)为由基\(\mathcal{M}=\{\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m}_s\}\)到基\(\mathcal{N}=\{\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\}\)的过渡矩阵:

\[ (\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s})=(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s})P \]

又知向量\(\boldsymbol{x}在基、mathcal{M}\)下的坐标为\([\boldsymbol{x}]_\mathcal{M}\)以及在基\(\mathcal{N}\)下的坐标为\([\boldsymbol{x}]_\mathcal{N}\),则有坐标变换公式(Change of coordinates formula):

\[ [\boldsymbol{x}]_\mathcal{N}= P^{-1}[\boldsymbol{x}]_\mathcal{M},\quad [\boldsymbol{x}]_\mathcal{M}= P[\boldsymbol{x}]_\mathcal{N} \]

基变换和坐标变换的区别在于,前者是右乘过渡矩阵\(P\),后者是左乘\(P^{-1}\)

相似矩阵

\(A,B\)都是\(n\)阶方阵,若有可逆矩阵\(P\),使得:

\[ B=P^{-1}AP \]

则称 P 为相似变换矩阵(Similarity transformation matrix),称 B 是 A 的相似矩阵(Similar matrix),记作:

\[ A\simeq B \]

相似矩阵其实就是改变矩阵函数的基

相似矩阵的性质

\(A\simeq B\),则:

\[ A^k\simeq B^k,\quad k\in\mathbb{Z}^+ \]

\[ A^\mathrm{T}\simeq B^\mathrm{T} \]

\(A\simeq B\),且\(A、B\)可逆,则:

\[ A^{-1}\simeq B^{-1} \]

\[ A^*\simeq B^* \]

\(A\simeq B,B\simeq C\),那么:

\[ A\simeq C \]

特征值与特征向量

特征值与特征向量

定义

设 A 是 n 阶方阵,\(\boldsymbol{x}\)为非零向量,若存在数\(\lambda\)使得下式成立:

\[ A\boldsymbol{x}=\lambda\boldsymbol{x} \]

那么将数\(\lambda\)称为 A 的特征值(Eigenvalue),非零向量\(\boldsymbol{x}\)称为\(A\)的对应于\(\lambda\)的特征向量(Eigenvector)。

求解

求解步骤还是比较简单,就是通过解下列方程组来求出特征值和特征向量:

\[ \begin{cases}|A-\lambda I| = 0\\\\ (A-\lambda I)\boldsymbol{x} = \boldsymbol{0} \end{cases}\Longrightarrow \begin{cases}\lambda = ? \\\\ \boldsymbol{x} = ?\end{cases} \]

更具体的步骤是,先通过第一个式子求出特征值:

\[ |A-\lambda I| = 0\implies \lambda_1,\lambda_2,\cdots,\lambda_i,\cdots\lambda_n \]

然后将、lambda_i 代入 (A-I)=求出该线性方程组的解集:

\[ (A-\lambda_i I)\boldsymbol{x}=\boldsymbol{0}\implies \boldsymbol{x}=? \]

该解集必然为向量空间,因为其中都是特征值为、lambda_i 的特征向量(零向量除外),所以也称为特征值为\(\lambda_i\)的特征空间(Eigenspace)。

特征多项式与特征方程

假设: \[ A=\begin{pmatrix}a_{11}& a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}& \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}\end{pmatrix} \]

那么\(|A-\lambda I| = 0\)可以写作:

\[ |A-\lambda I|=\begin{vmatrix} a_{11}-\lambda & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}-\lambda & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}-\lambda \end{vmatrix}=0 \]

其中\(|A-\lambda I|\)展开后就是关于特征值\(\lambda\)的多项式,所以称为特征多项式(Characteristic polynomial):

\[ \underbrace{\left|\begin{array}{cccc}a_{11}-\lambda & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}-\lambda & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}-\lambda\end{array}\right|}_{|A-\lambda I|}=c_0\lambda^{n}+c_1\lambda^{n-1}+\cdots+c_n \]

进而\(|A-\lambda I| = 0\)被称为特征方程(Characteristic equation)。

已知\(\lambda_1,\lambda_2,\cdots,\lambda_m\)\(n\)阶方阵\(A\)相异的特征值,以及\(\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_m\)\(\lambda_1,\lambda_2,\cdots,\lambda_m\)对应的特征向量,则向量组\(\{\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_m\}\)线性无关。

不同特征值的特征向量是线性无关的。

对角化

如果\(n\)阶方阵\(A\)\(n\)个线性无关的特征向量\(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}\),那么如下矩阵:

\[ P=(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}) \]

可以使得:

\[ A=P\Lambda P^{-1} \]

其中\(\Lambda\)为如下对角阵

\[ \Lambda=\left(\begin{array}{llll}\lambda_{1} & & & \\ & \lambda_{2} & & \\ & & \ddots & \\ & & & \lambda_{n}\end{array}\right) \]

其中的\(\lambda_1,\lambda_2,\cdots,\lambda_n\)为特征向量\(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}\)对应的特征值,该过程称为对角化(Diagonalizable)。

正交矩阵

已知\(\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_r\)是向量空间\(V\)的一个基,如果两两正交,即满足:

\[ \boldsymbol{p}_i\cdot\boldsymbol{p}_j=0,\quad i\ne j \]

那么称其为正交基(Orthogonal basis)。如果还满足长度均为 1,即:

\[ \boldsymbol{p}_1\cdot\boldsymbol{p}_1=\boldsymbol{p}_2\cdot\boldsymbol{p}_2=\cdots=\boldsymbol{p}_r\cdot\boldsymbol{p}_r=1 \]

那么,就称为标准正交基(Orthonormal basis)。

假设\(\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_n\)是向量空间\(\mathbb{R}^n\)的一个标准正交基,那么由它们构造的\(n\)阶方阵\(P\)也称为正交矩阵(Orthogonal Matrix):

\[ P=(\boldsymbol{p}_1,\boldsymbol{p_2},\cdots,\boldsymbol{p}_n) \]

该方阵 P 必然满足:

\[ P^\mathrm{T}P=P^{-1}P=I \]

\(P^\mathrm{T}\)就是\(P\)的逆矩阵。

施密特正交化

如果\(\boldsymbol{x}_1,\boldsymbol{x_2},\cdots\boldsymbol{x_n}\)是某向量空间的基,那么通过下述方法就可以找到该向量空间的正交基\(\boldsymbol{v}_1,\boldsymbol{v_2},\cdots\boldsymbol{v_n}\),该方法被称为施密特正交化(Gram–Schmidt process):

\[ \boldsymbol{x_1},\cdots,\boldsymbol{x_n} \xrightarrow{\quad\text{施密特正交化}\quad} \begin{cases} \boldsymbol{v_1}=\boldsymbol{x_1}\\ \quad\\ \boldsymbol{v_2}=\boldsymbol{x_2}-\frac{\boldsymbol{x_2}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}\\ \quad\\ \boldsymbol{v_3}=\boldsymbol{x_3}-\frac{\boldsymbol{x_3}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}-\frac{\boldsymbol{x_3}\cdot\boldsymbol{v_2}}{\boldsymbol{v_2}\cdot\boldsymbol{v_2}}\boldsymbol{v_2}\\ \quad\\ \qquad\qquad\vdots\\ \\ \boldsymbol{v_n}=\boldsymbol{x_n}-\frac{\boldsymbol{x_n}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}-\cdots-\frac{\boldsymbol{x_n}\cdot\boldsymbol{v_{n-1}}}{\boldsymbol{v_{n-1}}\cdot\boldsymbol{v_{n-1}}}\boldsymbol{v_{n-1}} \end{cases} \]

正交对角化

如果矩阵\(A\)是对称阵,且其中的每一个元素都是实数,那么称之为实对称阵(Real symmetric matrices)。此时有如下性质:

\(\lambda_1,\lambda_2\)是实对称阵 A 相异的特征值,\(\boldsymbol{p}_1,\boldsymbol{p}_2\)\(\lambda_1,\lambda_2\)对应的特征向量,则有\(\boldsymbol{p}_1\)\(\boldsymbol{p}_2\)正交,即:

\[ \boldsymbol{p_1}\cdot\boldsymbol{p_2}=0 \]

对于\(n\)阶方阵\(A\),如果存在正交矩阵\(P\)和对角阵\(\Lambda\)使得:

\[ A=P\Lambda P^{-1}=P\Lambda P^\mathrm{T} \]

那么就称该方阵\(A\)可正交对角化(Orthogonal diagonalizable)。

正交对角化是对角化的一种特殊情况,这里进行一下对比:

  • n 阶方阵 A 可对角化,当且仅当有 n 个线性无关的特征向量
  • n 阶方阵 A 可正交对角化,当且仅当有 n 个正交的特征向量,此时这 n 个特征向量必然也线性无关

可以证明 A 可正交对角化的充要条件是 A 为对称阵,即: \[ A\ 可正交对角化、iff A\ 是对称阵 \]

相似矩阵中的不变量

如果 A 和 B 是相似矩阵,那么两者的特征值相同:

\[ A\simeq B\implies A,B 的特征值相同 \]

如果\(\boldsymbol{A}\)\(\boldsymbol{B}\)是相似矩阵,那么两者的行列式相同:

\[ \boldsymbol{A}\simeq \boldsymbol{B}\implies |\boldsymbol{A}|=|\boldsymbol{B}| \]

对于\(n\)阶方阵\(\boldsymbol{A}\),其主对角线(从左上方至右下方的对角线)的元素之和称为迹(Trace),记作\(tr(\boldsymbol{A})\)

参考文献

《马同学的线性代数》
感兴趣的可以购买他的课程,写的很好(强烈推荐)!!!