线性代数

原图

向量空间

向量

n 个有序的数$a_1,a_2,...,a_n$所组成的数组称为$n$ 维向量，这$n$个数称为该向量的$n$个分量，第$i$个数$a_i$称为第$i$个分量。$n$维向量可写成一行，也可写成一列。分别称为行向量和列向量：

• n 维列向量：

$$\left(\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right)$$

• 与 n 维行向量：

$$(a_1,a_2,...,a_n)\mathrm{或}、quad\left(\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right)$$

$n$也称为该向量的维数。

向量的基本运算法则

$$\overline{)\begin{array}{c}\\ \mathrm{加}\mathrm{法}、quad& \begin{array}{r}\mathrm{交}\mathrm{换}\mathrm{律}、\mathrm{结}\mathrm{合}\mathrm{律}\end{array}& \begin{array}{r}\mathit{v}+\mathit{u}=\mathit{u}+\mathit{v}\\ \mathit{u}+\mathit{v}+\mathit{w}=\mathit{u}+(\mathit{v}+\mathit{w})\end{array}\\ \\ \\ \mathrm{数}\mathrm{乘}、quad& \begin{array}{r}\mathrm{交}\mathrm{换}\mathrm{律}、\mathrm{结}\mathrm{合}\mathrm{律}、\text{分}\mathrm{配}\mathrm{律}\end{array}& \begin{array}{r}k\cdot \mathit{u}=\mathit{u}\cdot k\\ k\cdot m\cdot \mathit{u}=k\cdot (m\cdot \mathit{u})\\ k(\mathit{u}+\mathit{v})=k\mathit{u}+k\mathit{v}\end{array}\\ \end{array}}$$

线性组合

• 向量组： 若干同维数的列向量（或者同维数的行向量）所组成的集合，叫做向量组。比如同维数 的向量${\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...{\mathit{a}}_{\mathit{m}}$，可 以组成向量组$\mathcal{A}$，通常记作：

  $$\mathcal{A}:{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{m}}\mathrm{或}、quad\mathcal{A}=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{m}}\}$$

• 线性相关： 给定向量组$\mathcal{A}=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{m}}\}$和向量${\mathit{b}}_{}$，如果存在一组实数$k_1,k_2,...k_m$，使：

  $${\mathit{b}}_{}=k_1{\mathit{a}}_{\mathbf{1}}+k_2{\mathit{a}}_{\mathbf{2}}+...+k_m{\mathit{a}}_{\mathit{m}}$$

  则称向量${\mathit{b}}_{}$能由向量组$\mathcal{A}$ 线性表示，或称向量 ${\mathit{b}}_{}$是向量组$\mathcal{A}$的线性组合。

• 线性相关和线性无关： 给定向量组$\mathcal{A}=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{m}}\}$，如果存在不全为零的实数$k_1,k_2,...k_m$，使：

  $$k_1{\mathit{a}}_{\mathbf{1}}+k_2{\mathit{a}}_{\mathbf{2}}+...+k_m{\mathit{a}}_{\mathit{m}}=\mathbf{0}$$

  则称向量组$\mathcal{A}$是线性相关的，否则称它为线性无关。

向量空间

设$\mathcal{V}$为一向量组，如果$\mathcal{V}$非空，且$\mathcal{V}$对于向量的加法及数乘两种运算封闭，那么就称$\mathcal{V}$为向量空间。

所谓封闭，是指在$\mathcal{V}$中向量进行数乘和加减，其结果依然在$\mathcal{V}$中。具体的说，就是：

• 若$\mathit{a}\in \mathcal{V},\mathit{b}\in \mathcal{V}$，则$\mathit{a}+\mathit{b}\in \mathcal{V}$。
• 若$\mathit{a}\in \mathcal{V},k\in \mathbb{R}$，则$k\mathit{a}\in \mathcal{V}$。

张成空间

张成空间的定义

某向量组$\mathcal{A}=\{{\mathit{v}}_{\mathbf{1}},{\mathit{v}}_{\mathbf{2}},...,{\mathit{v}}_{\mathit{p}}\}$，其所有线性组合构成的集合为向量空间，也称为向量组$\mathcal{A}$的张成空间，记为$span({\mathit{v}}_{\mathbf{1}},{\mathit{v}}_{\mathbf{2}},...,{\mathit{v}}_{\mathit{p}})$，即：

$$span({\mathit{v}}_{\mathbf{1}},{\mathit{v}}_{\mathbf{2}},...,{\mathit{v}}_{\mathit{p}})=\{k_1{\mathit{v}}_{\mathbf{1}}+k_2{\mathit{v}}_{\mathbf{2}}+...+k_p{\mathit{v}}_{\mathit{p}},k_{1,2,...,p}\in \mathbb{R}\}$$

也称$span({\mathit{v}}_{\mathbf{1}},{\mathit{v}}_{\mathbf{2}},...,{\mathit{v}}_{\mathit{p}})$为向量组$\mathcal{A}$所张成。

等价向量组

设有两个向量组$\mathcal{A}=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{m}}\}$及$\mathcal{B}=\{{\mathit{b}}_{\mathbf{1}},{\mathit{b}}_{\mathbf{2}},...,{\mathit{b}}_{\mathit{n}}\}$，若向量组$\mathcal{B}$中的每个向量都能由向量组$\mathcal{A}$线性表示，则称向量组$\mathcal{B}$能由向量组$\mathcal{A}$线性表示。

若向量组$\mathcal{A}$与向量组$\mathcal{B}$能相互线性表示，则称这两个向量组等价，也可以说$\mathcal{A}$和$\mathcal{B}$是等价向量组。

最大无关组

设有向量组$\mathcal{A}$，如果在$\mathcal{A}$中能选出$r$个向量${\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{r}}$满足：

• 向量组${\mathcal{A}}_0=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{r}}\}$线性无关。
• 向量组$\mathcal{A}$中任意$r+1$个向量（如果$\mathcal{A}$中有$r+1$个向量的话）都线性相关，那么称向量组${\mathcal{A}}_0$是向量组$\mathcal{A}$的一个最大线性无关组，简称最大无关组。

向量组的秩

假设向量组$A$的最大无关组为： $${\mathcal{A}}_0=\{a_1,a_2,\cdots ,a_r\}$$

${\mathcal{A}}_0$的向量个数$r$称为向量组$\mathcal{A}$的秩，记做$rank(\mathcal{A})$，有时也记作$r(\mathcal{A})$。

向量空间的基

• 基： 已知$\mathcal{V}$为向量空间，如果其中的某向量组：

  $$\mathcal{A}=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...{\mathit{a}}_{\mathit{n}}\}$$

  是$\mathcal{V}$的最大无关组，那么向量组$\mathcal{A}$被称为向量空间 $\mathcal{V}$的一个基。

• 坐标： 假设$\mathcal{A}=\{{\mathit{a}}_{\mathbf{1}},{\mathit{a}}_{\mathbf{2}},...,{\mathit{a}}_{\mathit{n}}\}$是向量空间$\mathcal{V}$的一个基，则$\mathcal{V}$中每个向量$\mathit{x}$可唯一地表示为： $$\mathit{x}=k_1{\mathit{a}}_{\mathbf{1}}+k_2{\mathit{a}}_{\mathbf{2}}+\cdots +k_n{\mathit{a}}_{\mathit{n}}$$ 上式的系数可以组成向量： $$[\mathit{x}{]}_{\mathcal{A}}=\left(\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_n\end{array}\right)$$ 我们将其称为$\mathit{x}$在基$\mathcal{A}$下的坐标向量，或者简称为$\mathit{x}$在基$\mathcal{A}$下的坐标。

• 维度： 假设向量空间$\mathcal{V}$的基为： $$\mathcal{A}=\{a_1,a_2,\cdots ,a_r\}$$ 则$\mathcal{A}$的秩$r$称为该向量空间的维度，或者称$\mathcal{V}$为$r$维向量空间。

数量积（点积）

点积的定义

向量$\mathit{x}=\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)$和 $\mathit{y}=\left(\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right)$的点积$(dotproduct)$，或称内积$(innerproduct)$，定义为：

$$\mathit{x}\cdot \mathit{y}=x_1{y}_1+\cdots +x_n{y}_n={\displaystyle \sum _{i=1}^n{x}_i{y}_i}$$

点积还可以称为数量积或者标量积，这是因为两个向量通过点积运算之后的结果是数量（标量）。

点积的性质

$$\overline{)\begin{array}{c}\\ \mathrm{交}\mathrm{换}\mathrm{律}、quad& \mathit{a}\cdot \mathit{b}=\mathit{b}\cdot \mathit{a}\\ \mathrm{数}\mathrm{乘}\mathrm{结}\mathrm{合}\mathrm{律}、quad& (k\mathit{a})\cdot \mathit{b}=k(\mathit{b}\cdot \mathit{a})\\ \mathrm{分}\mathrm{配}\mathrm{律}、quad& (\mathit{a}+\mathit{b})\cdot \mathit{c}=\mathit{a}\cdot \mathit{c}+\mathit{b}\cdot \mathit{c}\\ \end{array}}$$

矩阵和矩阵运算

矩阵的定义

由$m\times n$个数$a_{ij}(i=1,2,...m;j=1,2...n)$排成的$m$行$n$列的数表称为$m$行$n$列矩阵$（Matrix）$，简称$m\times n$矩阵。为表示这些数字是一个整体，总是加一个括弧，下面就表示了矩阵$A$：

$$A=\underset{n\mathrm{列}}{\underbrace{\left(\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& ...& & ...\\ a_{m1}& a_{m2}& ...& a_{mn}\end{array}\right)}}\begin{array}{r}\\ \\ \\ \end{array}\}m\mathrm{行}$$

可以用$a_{ij}$或$a_{i,j}$来表示该矩阵$A$的第$i$行$j$列的数字，刚才的矩阵还可以简记为：

$$A=(a_{ij})=(a_{i,j})$$

为了表示矩阵的行数和列数，$m\times n$矩阵$A$也记作$A_{m\times n}$。

高斯消元法

• 行阶梯形矩阵： 非零矩阵若满足：

  • 非零行在零行（如果存在的话）的上面
  • 非零行最左边的首非零元素在上一行（如果存在的话）的首非零元素的右面

  所以称为行阶梯形矩阵（Row echelon form），非零行最左边的首非零元素称为主元（Pivot element）。

• 对角矩阵： 若 n 阶方阵如下： $${\mathrm{\Lambda }}_n=\left(\begin{array}{cccc}{\lambda }_1& 0& ...& 0\\ 0& {\lambda }_2& ...& 0\\ ...& ...& & ...\\ 0& 0& ...& {\lambda }_n\end{array}\right)$$ 对角线以外的元素都是 0，这种方阵称为对角矩阵（Diagonal matrix），简称对角阵，也记作： $${\mathrm{\Lambda }}_n=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$$

• 单位阵： 如果 n 阶对角阵的对角线上的元素全为 1： $$I_n=\left(\begin{array}{cccc}1& 0& ...& 0\\ 0& 1& ...& 0\\ ...& ...& & ...\\ 0& 0& ...& 1\end{array}\right)$$ 该对角阵称为 n 阶单位矩阵（Identity matrix），或者简称为单位阵。在国内教材中，单位阵一般用 E 表示。

• 行最简形矩阵： 若 A 是行阶梯形矩阵，并且还满足：

  • 主元为 1
  • 除主元外，其所在列的其它元素均为 0

  则称 A 为行最简形矩阵（Reduced row echelon form）.

• 初等行变换和初等行矩阵： 完成高斯消元法只需要三种操作，这三种操作是作用在矩阵的行上的，所以又称为初等行变换（Elementary row operations）。在单位阵上应用这三种初等行变换一次得到的矩阵称为初等行矩阵（Elementary row matrix），也就是下列表格中最右的矩阵： $$\overline{)\begin{array}{ccc}\mathrm{初}\mathrm{等}\mathrm{行}\mathrm{变}\mathrm{换}、quad& \mathrm{操}\mathrm{作}、quad& \mathrm{初}\mathrm{等}\mathrm{行}\mathrm{矩}\mathrm{阵}、quad\\ \\ \begin{array}{r}\mathrm{倍}\mathrm{加}\mathrm{变}\mathrm{换}\\ \text{row-additiontransformations}\end{array}& {\mathit{r}}_{\mathbf{1}}^{\prime }={\mathit{r}}_{\mathbf{1}}+k{\mathit{r}}_{\mathbf{2}}& \left(\begin{array}{ccc}1& k& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\\ \\ \begin{array}{r}\mathrm{倍}\mathrm{乘}\mathrm{变}\mathrm{换}\\ \text{row-multiplyingtransformations}\end{array}& {\mathit{r}}_{\mathbf{1}}^{\prime }=k{\mathit{r}}_{\mathbf{1}}(k\ne 0)& \left(\begin{array}{ccc}k& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\\ \\ \\ \begin{array}{r}\mathrm{对}\mathrm{换}\mathrm{变}\mathrm{换}\\ \text{row-switchingtransformations}\end{array}& {\mathit{r}}_{\mathbf{1}}\leftrightarrow {\mathit{r}}_{\mathbf{2}}& \left(\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right)\\ \end{array}}$$

  初等行矩阵乘上矩阵 A，就相当于在矩阵 A 上实施了对应的初等行变换。

矩阵的加法与乘法

两个矩阵的行数相等、列数也相等时，就称它们是同型矩阵。

• 加法： 设有两个$m\times n$矩阵$A=(a_{ij})$和$B=(b_{ij})$，那么矩阵$A$和$B$的和记做$A+B$，规定为： $$A+B=\left(\begin{array}{cccc}{a}_{11}+b_{11}& a_{12}+b_{12}& ...& a_{1n}+b_{1n}\\ a_{21}+b_{21}& a_{22}+b_{22}& ...& a_{2n}+b_{2n}\\ ...& ...& & ...\\ a_{m1}+b_{m1}& a_{m2}+b_{m2}& ...& a_{mn}+b_{mn}\end{array}\right)$$

• 矩阵加法运算规律： $$\overline{)\begin{array}{c}\\ \mathrm{交}\mathrm{换}\mathrm{律}、quad& A+B=B+A\\ \mathrm{结}\mathrm{合}\mathrm{律}、quad& (A+B)+C=A+(B+C)\\ \end{array}}$$

• 矩阵数乘： 数$k$与矩阵$A$的乘积记作： $$kA\mathrm{或}、quadAk$$ 规定为： $$kA=Ak=\left(\begin{array}{cccc}k{a}_{11}& k{a}_{12}& \cdots & k{a}_{1n}\\ k{a}_{21}& k{a}_{22}& \cdots & k{a}_{2n}\\ \cdots & \cdots & & \cdots \\ k{a}_{m1}& k{a}_{m2}& \cdots & k{a}_{mn}\end{array}\right)$$

• 数乘的运算规律： $$\overline{)\begin{array}{c}\\ \mathrm{结}\mathrm{合}\mathrm{律}、quad& (\lambda \mu )A=\lambda (\mu A)\\ \\ \mathrm{分}\mathrm{配}\mathrm{律}、quad& \begin{array}{r}(\lambda +\mu )A=\lambda A+\mu A\\ \lambda (A+B)=\lambda A+\lambda B\end{array}\\ \end{array}}$$

• 矩阵乘法的定义： 设$A=(a_{ij})$是一个$m\times s$矩阵，$B=(b_{ij})$是一个$s\times n$矩阵，那么规定$A$与$B$的乘积是一个$m\times n$矩阵$C=(c_{ij})$，其中： $$c_{ij}={\mathit{a}}_{i\ast }\cdot {\mathit{b}}_{\ast j}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+...+a_{is}{b}_{sj}={\displaystyle \sum _{k=1}^s{a}_{ik}{b}_{kj}(i=1,\cdots ,m;j=1,\cdots ,n)}$$ 并把乘积记作： $$C=AB$$

• 矩阵乘法运算规律： $$\overline{)\begin{array}{c}\\ \mathrm{交}\mathrm{换}\mathrm{律}、quad& \mathrm{不}\mathrm{一}\mathrm{定}\mathrm{满}\mathrm{足}、quad\\ \mathrm{数}\mathrm{乘}\mathrm{交}\mathrm{换}\mathrm{律}、quad& \lambda (AB)=(\lambda A)B=A(\lambda B)（\mathrm{其}\mathrm{中}、lambda\mathrm{是}\mathrm{数}）\\ \mathrm{结}\mathrm{合}\mathrm{律}、quad& (AB)C=A(BC)\\ \mathrm{分}\mathrm{配}\mathrm{律}、quad& A(B+C)=AB+AC\\ \end{array}}$$

矩阵的幂与转置

类似于$x^n$称为$x$的幂运算，矩阵也有幂运算，也称为矩阵的幂： 设$A$是方阵，定义：

$$A^1=A,A^2=A^1{A}^1,\cdots ,A^{k+1}=A^k{A}^1$$

其中 k 为正整数。

• 矩阵的转置： 把矩阵$A$的行换成同序数的列，该操作称为矩阵的转置运算。转置运算后可以得到一个新矩阵，该矩阵称为 A 的转置矩阵，记作$A^{\mathrm{T}}$。或者用符号表示如下： $$A=(a_{ij}),A^{\mathrm{T}}=(a_{ji})$$

• 转置的性质： $$(A^{\mathrm{T}}{)}^{\mathrm{T}}=A$$ (AB)^=BA^ $$(A^{\mathrm{T}}{)}^n=(A^n{)}^{\mathrm{T}}$$ (A+B)^=A+B^ $$\mathrm{对}\mathrm{于}\mathrm{两}\mathrm{个}\mathrm{同}\mathrm{维}\mathrm{向}\mathrm{量}\$\mathit{x}\$\mathrm{和}\$\mathit{y}\$，\mathrm{有}：$$ ^=() $$

• 对称矩阵与反对称矩阵： 若： $$A^T=A$$ 则矩阵 A 称为对称矩阵。

  若： $$A^T=-A$$ 则矩阵 A 称为反对称矩阵。

矩阵函数

其实，任给一个 RGB 都可以如上转为对应的$Y{P}_r{P}_b$。为了表明这一点，我们用未知向量$\mathit{x}、\mathit{y}$来替换常向量$\mathit{a}、\mathit{b}$：

$$\underset{\mathit{A}}{\underbrace{\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.5& -0.418688& -0.081312\\ -0.168736& -0.331264& 0.5\end{array}\right)}}\underset{\mathit{x}}{\underbrace{\left(\begin{array}{c}R\\ G\\ B\end{array}\right)}}=\underset{\mathit{y}}{\underbrace{\left(\begin{array}{c}Y\\ P_r\\ P_b\end{array}\right)}}$$

这样就得到了函数$\mathit{A}\mathit{x}=\mathit{y}（）$，也称为矩阵函数，其输入为$\mathit{x}$，输出为$\mathit{y}$：

矩阵函数的性质

$$\overline{)\begin{array}{c}\\ \mathrm{交}\mathrm{换}\mathrm{律}、quad& \mathrm{不}\mathrm{一}\mathrm{定}\mathrm{满}\mathrm{足}、quad\\ \mathrm{数}\mathrm{乘}\mathrm{交}\mathrm{换}\mathrm{律}、quad& \lambda (AB)=(\lambda A)B=A(\lambda B)（\mathrm{其}\mathrm{中}、lambda\mathrm{是}\mathrm{数}）\\ \mathrm{结}\mathrm{合}\mathrm{律}、quad& (AB)C=A(BC)\\ \mathrm{分}\mathrm{配}\mathrm{律}、quad& A(B+C)=AB+AC\\ \end{array}}$$

矩阵的秩

行秩和列秩

列空间

矩阵 A 的列向量为：

$$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)=({\mathit{c}}_{\mathbf{1}},{\mathit{c}}_{\mathbf{2}},\cdots ,{\mathit{c}}_{\mathit{n}})$$

包含所有列向量的向量组称为列向量组，即：

$$\mathrm{列}\mathrm{向}\mathrm{量}\mathrm{组}：\{{\mathit{c}}_{\mathbf{1}},{\mathit{c}}_{\mathbf{2}},\cdots ,{\mathit{c}}_{\mathit{n}}\}$$

列向量组的张成空间称为列空间，记作$colsp(A)$，即：

$$\begin{array}{rl}colsp(A)& =span(\{{\mathit{c}}_{\mathbf{1}},{\mathit{c}}_{\mathbf{2}},\cdots ,{\mathit{c}}_{\mathit{n}}\})\\ & =x_1{\mathit{c}}_{\mathbf{1}}+x_2{\mathit{c}}_{\mathbf{2}}+\cdots +x_n{\mathit{c}}_{\mathit{n}},x_{1,2,\cdots ,n}\in \mathbb{R}\end{array}$$

列向量组的秩，也就是列空间的维度，称为列秩，即：

$$\mathrm{列}\mathrm{秩}=rank(colsp(A))$$

如果列向量组线性无关，就称为列满秩。

行空间

矩阵 A 的行向量为：

$$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)=\left(\begin{array}{c}{\mathit{r}}_{\mathbf{1}}^{\mathrm{T}}\\ {\mathit{r}}_{\mathbf{2}}^{\mathrm{T}}\\ ⋮\\ {\mathit{r}}_{\mathit{m}}^{\mathrm{T}}\end{array}\right)$$

包含所有行向量的向量组称为行向量组，即：

$$\mathrm{行}\mathrm{向}\mathrm{量}\mathrm{组}：\{{\mathit{r}}_{\mathbf{1}}^{\mathrm{T}},{\mathit{r}}_{\mathbf{2}}^{\mathrm{T}},\cdots ,{\mathit{r}}_{\mathit{m}}^{\mathrm{T}}\}$$

行向量组的张成空间称为行空间，记作$rowsp(A)$，即：

$$\begin{array}{rl}rowsp(A)& =span(\{{\mathit{r}}_{\mathbf{1}}^{\mathrm{T}},{\mathit{r}}_{\mathbf{2}}^{\mathrm{T}},\cdots ,{\mathit{r}}_{\mathit{m}}^{\mathrm{T}}\})\\ & =x_1{\mathit{r}}_{\mathbf{1}}^{\mathrm{T}}+x_2{\mathit{r}}_{\mathbf{2}}^{\mathrm{T}}+\cdots +x_m{\mathit{r}}_{\mathit{m}}^{\mathrm{T}},x_{1,2,\cdots ,m}\in \mathbb{R}\end{array}$$

行向量组的秩，也就是行空间的维度，称为行秩，即：

$$\mathrm{行}\mathrm{秩}=rank(rowsp(A))$$

如果行向量组线性无关，就称为行满秩。

秩

• 矩阵的秩的定义： 对于任意矩阵，始终有列秩等于行秩，所以统称为矩阵的秩，即： $$\mathrm{矩}\mathrm{阵}\mathrm{的}\mathrm{秩}=\mathrm{列}\mathrm{秩}=\mathrm{行}\mathrm{秩}$$

  矩阵 A 的秩记作$rank(A)$，有时也简写为$r(A)$。

• 秩的几何意义： 根据自然定义域下，矩阵函数的值域可知，在自然定义域下

  • 列向量矩阵函数$A\mathit{x}=\mathit{y}$的值域的维度是列秩
  • 行向量矩阵函数${\mathit{x}}^{\mathrm{T}}A={\mathit{y}}^{\mathrm{T}}$的值域的维度是行秩

  因为行秩=列秩=秩，所以当在自然定义域下时，秩就是矩阵函数的值域的维度。下面来看几个例子。

• 满秩： 如果某个矩阵，既是列满秩，又是行满秩，那么就称该矩阵为满秩矩阵，或者简称为满秩。满秩矩阵必为方阵。

• 秩的性质：

  • 秩的取值范围： $$0\le rank(A_{m\times n})\le min(m,n)$$

  • 转置矩阵的秩： $$rank(A)=rank(A^{\mathrm{T}})$$

  • 复合函数的秩： $$rank(AB)\le min(rank(A),rank(B))$$

  • 满秩矩阵复合的秩。假设 P、Q 为满秩矩阵，那么： $$rank(PA)=rank(AQ)=rank(PAQ)=rank(A)$$

  • 矩阵相加的秩。假设 A、B 为同型矩阵，那么： $$rank(A+B)\le rank(A)+rank(B)$$

逆矩阵

逆矩阵的定义

若存在两个$n$阶方阵$\mathit{A}、\mathit{C}$，两者的乘积为$n$阶单位阵$\mathit{I}$：

$$\mathit{A}\mathit{C}=\mathit{I}\mathrm{且}、qquad\mathit{C}\mathit{A}=\mathit{I}$$

那么$\mathit{C}$就是$\mathit{A}$的逆矩阵，即有${\mathit{A}}^{-1}=\mathit{C}$，且${\mathit{A}}^{-1}$是唯一的。

如果可以通过一系列初等行矩阵${\mathit{E}}_i$，将矩阵$\mathit{A}$变换成单位阵$\mathit{I}$，则$\mathit{A}$的逆矩阵就是这些初等行矩阵的乘积：

$$\underset{{\mathit{A}}^{-1}}{\underbrace{{\mathit{E}}_1{\mathit{E}}_2...{\mathit{E}}_n}}\mathit{A}=\mathit{I}$$

逆矩阵的运算规律

若$\mathit{A}$可逆，则${\mathit{A}}^{-1}$也可逆，且：

$$({\mathit{A}}^{-1}{)}^{-1}=\mathit{A}$$

若$\mathit{A}$可逆，数$\lambda \ne 0$，则$\lambda \mathit{A}$可逆，且：

$$(\lambda \mathit{A}{)}^{-1}=\frac{1}{\lambda }{\mathit{A}}^{-1}$$

若$\mathit{A}、\mathit{B}$为同阶方阵且均可逆，则$\mathit{A}\mathit{B}$也可逆，且：

$$(\mathit{A}\mathit{B}{)}^{-1}={\mathit{B}}^{-1}{\mathit{A}}^{-1}$$

若$\mathit{A}$可逆，则${\mathit{A}}^{\mathrm{T}}$也可逆，且：

$$({\mathit{A}}^{\mathrm{T}}{)}^{-1}=({\mathit{A}}^{-1}{)}^{\mathrm{T}}$$

线性方程组的求解

• 解的存在性 对于线性方程组$\mathit{A}\mathit{x}=\mathit{b}$，它的增广矩阵为$\mathit{B}=(\mathit{A}|{\mathit{b}}_{})$，那么：

  • 有解，当且仅当$rank(\mathit{A})=rank(\mathit{B})$
  • 无解，当且仅当$rank(\mathit{A})<rank(\mathit{B})$

  行满秩矩阵一定有解

• 解的个数判别法： 对于线性方程组$\mathit{A}\mathit{x}=\mathit{b}$，它的增广矩阵为$\mathit{B}=(\mathit{A}|{\mathit{b}}_{})$，如果$\mathit{A}$为$m\times n$的矩阵，那么：

  • 有唯一解，当且仅当$rank(\mathit{A})=rank(\mathit{B})=n$
  • 有无数解，当且仅当$rank(\mathit{A})=rank(\mathit{B})<n$

  满秩矩阵解有唯一解

行列式

行列式定义

二阶行列式

假设有二阶方阵$\mathit{A}=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)$，那么刚才定义的运算规则称为该二阶方阵$\mathit{A}$对应的行列式$|\mathit{A}|$，也称为二阶行列式：

$$|\mathit{A}|=\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$

上述定义只要求$\mathit{A}$是方阵，不要求是满秩矩阵。

三阶行列式

假设有三阶方阵$\mathit{A}=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right)$，那么刚才定义的运算规则称为该三阶方阵$\mathit{A}$对应的行列式$|\mathit{A}|$，也称为三阶行列式：

$$\begin{array}{rl}|\mathit{A}|& =\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|\\ & =a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{13}{a}_{21}{a}_{32}-a_{11}{a}_{23}{a}_{32}-a_{12}{a}_{21}{a}_{33}-a_{13}{a}_{22}{a}_{31}\end{array}$$

上述定义也只要求、boldsymbol{A}是方阵，不要求是满秩矩阵。

全排列

把 n 个不同的元素排成一列，叫做这 n 个元素的全排列。

逆序数

在一个排列（也就是数列）中，如果一对数的前后位置与大小顺序相反，即前面的数大于后面的数，那么它们就称为一个逆序。一个排列中逆序的总数就称为该排列的逆序数。逆序数为奇数的排列称为奇排列，逆序数为偶数的排列称为偶排列。

行列式定义

对于$n$阶方阵$\mathit{A}=(a_{ij})$，其行列式定义为：

$$|\mathit{A}|=|a_{ij}|=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|=\sum (-1{)}^t{a}_{1p_1}{a}_{2p_2}\cdots a_{n{p}_n}$$

其中，$t$为排列$p_1{p}_2\cdots p_n$的逆序数，$\sum$表示对$“1,2,\cdots ,n”$的全排列$“p_1{p}_2\cdots p_n”$求和。

向量积

向量积$\mathit{S}$投影到了各个平面：

$$\mathit{S}\stackrel{\mathrm{投}\mathrm{影}、quad}{\to }\{\begin{array}{l}{\mathit{S}}_{\mathit{x}\mathit{o}\mathit{y}}\\ {\mathit{S}}_{\mathit{y}\mathit{o}\mathit{z}}\\ {\mathit{S}}_{\mathit{z}\mathit{o}\mathit{x}}\end{array}$$

将这些投影加起来就得到了向量积$\mathit{S}$：

$$\begin{array}{rl}\mathit{S}& =\mathit{b}\times \mathit{c}\\ \\ & ={\mathit{S}}_{\mathit{x}\mathit{o}\mathit{y}}+{\mathit{S}}_{\mathit{y}\mathit{o}\mathit{z}}+{\mathit{S}}_{\mathit{z}\mathit{o}\mathit{x}}\\ \\ & =\left|\begin{array}{cc}{b}_1& c_1\\ b_2& c_2\end{array}\right|{\mathit{e}}_{\mathbf{3}}+\left|\begin{array}{cc}{b}_2& c_2\\ b_3& c_3\end{array}\right|{\mathit{e}}_{\mathbf{1}}+\left|\begin{array}{cc}{b}_3& c_3\\ b_1& c_1\end{array}\right|{\mathit{e}}_{\mathbf{2}}\\ \\ & =\left|\begin{array}{cc}{b}_2& c_2\\ b_3& c_3\end{array}\right|{\mathit{e}}_{\mathbf{1}}+\left|\begin{array}{cc}{b}_3& c_3\\ b_1& c_1\end{array}\right|{\mathit{e}}_{\mathbf{2}}+\left|\begin{array}{cc}{b}_1& c_1\\ b_2& c_2\end{array}\right|{\mathit{e}}_{\mathbf{3}}\end{array}$$

为了方便记忆，上面的式子往往如下书写，这就是向量积的定义： $$\mathit{b}\times \mathit{c}=\left|\begin{array}{cc}{b}_2& c_2\\ b_3& c_3\end{array}\right|{\mathit{e}}_{\mathbf{1}}-\left|\begin{array}{cc}{b}_1& c_1\\ b_3& c_3\end{array}\right|{\mathit{e}}_{\mathbf{2}}+\left|\begin{array}{cc}{b}_1& c_1\\ b_2& c_2\end{array}\right|{\mathit{e}}_{\mathbf{3}}$$

子式和余子式

子式

在$m\times n$矩阵$\mathit{A}$中，任取 k 行与 k 列$（k\le m,k\le n）$，位于这些行、列交叉处的$k^2$个元素，不改变它们在$\mathit{A}$中所处的位置次序而得的 k 阶行列式，称为矩阵$\mathit{A}$的 k 阶子式（Minor）。

设$\mathit{A}$是$m\times n$的矩阵，$I$是集合$\{1,...,m\}$的一个$k$元子集，$J$是集合$\{1,...,n\}$的一个$k$元子集，$|\mathit{A}{|}_{I,J}$是$\mathit{A}$的$k$阶子式，其中抽取的 k 行的行号是 I 中所有元素，$k$列的列号是$J$中所有元素。那么：

• 如果$I=J$，称$|\mathit{A}{|}_{I,J}\mathrm{为}、boldsymbolA$的$k$阶主子式（Principal minor）。
• 如果$I=J=\{1,\cdots ,k\}$所取的是左起前 k 列和上起前$k$行），称$|\mathit{A}{|}_{I,J}$为$\mathit{A}$的$k$阶顺序主子式（Leading principal minor）。

设在矩阵$\mathit{A}$中有一个不等于 0 的 r 阶子式$|{\mathit{B}}_r|$，且所有$r+1$阶子式（如果存在的话）全等于 0，那么$|{\mathit{B}}_r|$称为矩阵$\mathit{A}$的最高阶非零子式，数 r 称为矩阵$\mathit{A}$的秩。（不适合求矩阵的秩，太麻烦）

余子式

在 n 阶行列式中，把$a_{ij}$所在的第 i 行和第 j 列划去后，留下来的 n-1 阶行列式叫做$a_{ij}$的余子式，记做${\mathit{M}}_{ij}$.

代数余子式

在$a_{ij}$的余子式$M_{ij}$的基础上，还可以定义$A_{ij}$，称为$a_{ij}$的代数余子式： $$A_{ij}=(-1{)}^{i+j}{M}_{ij}$$

总结

行列式的性质

• 行列式转置： 对于 n 阶方阵$\mathit{A}=(a_{ij})$，有： $$|\mathit{A}|=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|,|{\mathit{A}}^{\mathrm{T}}|=\left|\begin{array}{cccc}{a}_{11}& a_{21}& \cdots & a_{n1}\\ a_{12}& a_{22}& \cdots & a_{n2}\\ ⋮& ⋮& & ⋮\\ a_{1n}& a_{2n}& \cdots & a_{nn}\end{array}\right|$$

  行列式$|{\mathit{A}}^{\mathrm{T}}|$称为行列式$|\mathit{A}|$的转 置行列式。可以证明： $$|\mathit{A}|=|{\mathit{A}}^{\mathrm{T}}|$$

• 满秩、可逆与行列式： 对于方阵$\mathit{A}$有： $$|\mathit{A}|\ne 0⟺\mathit{A}\mathrm{满}\mathrm{秩}、iff\mathit{A}\mathrm{可}\mathrm{逆}$$

• 行列式的数乘： 行列式乘以 k 倍，等于某行（列）乘以 k，该性质也可以称为行列式的数乘： $$k\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ ⋮& ⋮& \ddots & ⋮\\ k{a}_{i1}& k{a}_{i2}& \dots & k{a}_{in}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|=\left|\begin{array}{ccccc}{a}_{11}& \dots & k{a}_{1j}& \dots & a_{1n}\\ ⋮& \dots & k{a}_{2j}& \dots & ⋮\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ a_{n1}& \dots & k{a}_{nj}& \dots & a_{nn}\end{array}\right|$$

• 行或列互换： 行列式中的行（列）互换后，行列式正负号发生改变： $$\left|\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ a_{i1}& a_{i2}& \dots & a_{in}\\ ⋮& ⋮& ⋮& ⋮\\ a_{j1}& a_{j2}& \dots & a_{jn}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right|=-\left|\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ a_{j1}& a_{j2}& \dots & a_{jn}\\ ⋮& ⋮& ⋮& ⋮\\ a_{i1}& a_{i2}& \dots & a_{in}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right|$$

• 行列式的倍加： 将一行（列）的 k 倍加进另一行（列）里，行列式的值不变，该性质也可以称为行列式的倍加： $$\left|\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ a_{i1}& a_{i2}& \dots & a_{in}\\ a_{j1}& a_{j2}& \dots & a_{jn}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right|=\left|\begin{array}{cccc}⋮& ⋮& ⋮& ⋮\\ a_{i1}& a_{i2}& \dots & a_{in}\\ a_{j1}+k{a}_{i1}& a_{j2}+k{a}_{i2}& \dots & a_{jn}+k{a}_{in}\\ ⋮& ⋮& ⋮& ⋮\end{array}\right|$$

• 行列式的加法： 在行列式中，某一行（列）的每个元素是两数之和，则此行列式可拆分为两个相加的行列式，该性质也可以称为行列式的加法： $$\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ ⋮& ⋮& \dots & ⋮\\ a_{i1}+b_{i1}& a_{i2}+b_{i2}& \dots & a_{in}+b_{in}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ ⋮& ⋮& \dots & ⋮\\ a_{i1}& a_{i2}& \dots & a_{in}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|+\left|\begin{array}{cccc}{a}_{11}& a_{12}& \dots & a_{1n}\\ ⋮& ⋮& \dots & ⋮\\ b_{i1}& b_{i2}& \dots & b_{in}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|$$

• 行列式的乘法： 对于同阶方阵$\mathit{A},\mathit{B}$，有： $$|\mathit{A}\mathit{B}|=|\mathit{A}||\mathit{B}|$$ 该性质又称为行列式的乘法。

• 三角行列式的计算法： $$|\mathit{A}|=\left|\begin{array}{cccc}{a}_{11}& & & \\ a_{21}& a_{22}& & 0\\ ⋮& ⋮& \ddots & \\ a_{n1}& a_{n2}& \dots & a_{nn}\end{array}\right|=a_{11}{a}_{22}\cdots a_{nn}$$

• 三角分块行列式的计算法： 设有分块矩阵： $$\mathit{A}=\left(\begin{array}{cc}\mathit{B}& \mathit{O}\\ \mathit{C}& \mathit{D}\end{array}\right)$$ 则有： $$|\mathit{A}|=|\mathit{B}||\mathit{D}|$$ 该性质也称为三角分块行列式的计算法。

• 拉普拉斯展开： n 阶方阵$\mathit{A}=(a_{ij})$的行列式可以表示成关于该方阵$\mathit{A}$的某一行的各元素与其对应的代数余子式乘积之和，即： $$|\mathit{A}|=a_{i1}{A}_{i1}+a_{i2}{A}_{i2}+...+a_{in}{A}_{in}(i=1,2,...,n)$$ 或表示成关于该方阵 A 的某一列的各元素与其对应的代数余子式乘积之和： $$|\mathit{A}|=a_{1j}{A}_{1j}+a_{2j}{A}_{2j}+...+a_{nj}{A}_{nj}(j=1,2,...,n)$$ 这种计算行列式的方法称为拉普拉斯展开（Laplace expansion）。

克拉默法则

有 n 个未知数，n 个方程所组成的线性方程组，它的系数矩阵是 n 阶方阵$\mathit{A}$。如果对应的行列式$|\mathit{A}|$不等于 0，即：

$$|\mathit{A}|=\left|\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right|\ne 0$$

则方程组有唯一解，并且解为：

$${\displaystyle x_1=\frac{|{\mathit{A}}_1|}{|\mathit{A}|},x_2=\frac{|{\mathit{A}}_2|}{|\mathit{A}|},...,x_n=\frac{|{\mathit{A}}_n|}{|\mathit{A}|}}$$

其中${\mathit{A}}_j(j=1,2,...,n)$是把系数矩阵$\mathit{A}$中第 j 列的元素用方程组右端的常数项代替后所得到的 n 阶矩阵，即：

$${\mathit{A}}_j=\left(\begin{array}{ccccccc}{a}_{11}& \cdots & a_{1,j-1}& b_1& a_{1,j+1}& \cdots & a_{1n}\\ ⋮& & ⋮& ⋮& ⋮& & ⋮\\ a_{n1}& \cdots & a_{n,j-1}& b_n& a_{n,j+1}& \cdots & a_{nn}\end{array}\right)$$

这就是克拉默法则（Cramer's Rule），也称为克莱姆法则。

相似矩阵

基变换

已知两个基${\mathit{m}}_{\mathbf{1}},{\mathit{m}}_{\mathbf{2}},\dots ,{\mathit{m}}_{\mathit{s}}$以及${\mathit{n}}_{\mathbf{1}},{\mathit{n}}_{\mathbf{2}},\dots ,{\mathit{n}}_{\mathit{s}}$，当且仅当它们是同一个向量空间的基时，那么存在唯一的矩阵 P，使得下式成立： $$({\mathit{n}}_{\mathbf{1}},{\mathit{n}}_{\mathbf{2}},\dots ,{\mathit{n}}_{\mathit{s}})=({\mathit{m}}_{\mathbf{1}},{\mathit{m}}_{\mathbf{2}},\dots ,{\mathit{m}}_{\mathit{s}})P$$ 该矩阵 P 称为由基${\mathit{m}}_{\mathbf{1}},{\mathit{m}}_{\mathbf{2}},\dots ,{\mathit{m}}_s$到基${\mathit{n}}_{\mathbf{1}},{\mathit{n}}_{\mathbf{2}},\dots ,{\mathit{n}}_{\mathit{s}}$的过渡矩阵（Transition matrix），而上述公式称为基变换公式（Change of basis formula）。

过渡矩阵是满秩矩阵。

坐标变换

已知$P$为由基$\mathcal{M}=\{{\mathit{m}}_{\mathbf{1}},{\mathit{m}}_{\mathbf{2}},\dots ,{\mathit{m}}_s\}$到基$\mathcal{N}=\{{\mathit{n}}_{\mathbf{1}},{\mathit{n}}_{\mathbf{2}},\dots ,{\mathit{n}}_{\mathit{s}}\}$的过渡矩阵：

$$({\mathit{n}}_{\mathbf{1}},{\mathit{n}}_{\mathbf{2}},\dots ,{\mathit{n}}_{\mathit{s}})=({\mathit{m}}_{\mathbf{1}},{\mathit{m}}_{\mathbf{2}},\dots ,{\mathit{m}}_{\mathit{s}})P$$

又知向量$\mathit{x}\mathrm{在}\mathrm{基}、mathcalM$下的坐标为$[\mathit{x}{]}_{\mathcal{M}}$以及在基$\mathcal{N}$下的坐标为$[\mathit{x}{]}_{\mathcal{N}}$，则有坐标变换公式（Change of coordinates formula）：

$$[\mathit{x}{]}_{\mathcal{N}}=P^{-1}[\mathit{x}{]}_{\mathcal{M}},[\mathit{x}{]}_{\mathcal{M}}=P[\mathit{x}{]}_{\mathcal{N}}$$

基变换和坐标变换的区别在于，前者是右乘过渡矩阵$P$，后者是左乘$P^{-1}$：

相似矩阵

设$A,B$都是$n$阶方阵，若有可逆矩阵$P$，使得：

$$B=P^{-1}AP$$

则称 P 为相似变换矩阵（Similarity transformation matrix），称 B 是 A 的相似矩阵（Similar matrix），记作：

$$A\simeq B$$

相似矩阵其实就是改变矩阵函数的基

相似矩阵的性质

若$A\simeq B$，则：

$$A^k\simeq B^k,k\in {\mathbb{Z}}^{+}$$

$$A^{\mathrm{T}}\simeq B^{\mathrm{T}}$$

若$A\simeq B$，且$A、B$可逆，则：

$$A^{-1}\simeq B^{-1}$$

$$A^{\ast }\simeq B^{\ast }$$

若$A\simeq B，B\simeq C$，那么：

$$A\simeq C$$

特征值与特征向量

特征值与特征向量

定义

设 A 是 n 阶方阵，$\mathit{x}$为非零向量，若存在数$\lambda$使得下式成立：

$$A\mathit{x}=\lambda \mathit{x}$$

那么将数$\lambda$称为 A 的特征值（Eigenvalue），非零向量$\mathit{x}$称为$A$的对应于$\lambda$的特征向量（Eigenvector）。

求解

求解步骤还是比较简单，就是通过解下列方程组来求出特征值和特征向量：

$$\{\begin{array}{l}|A-\lambda I|=0\\ \\ (A-\lambda I)\mathit{x}=\mathbf{0}\end{array}⟹\{\begin{array}{l}\lambda =?\\ \\ \mathit{x}=?\end{array}$$

更具体的步骤是，先通过第一个式子求出特征值：

$$|A-\lambda I|=0⟹{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_i,\cdots {\lambda }_n$$

然后将、lambda_i 代入 (A-I)=求出该线性方程组的解集：

$$(A-{\lambda }_{i}I)\mathit{x}=\mathbf{0}⟹\mathit{x}=?$$

该解集必然为向量空间，因为其中都是特征值为、lambda_i 的特征向量（零向量除外），所以也称为特征值为${\lambda }_i$的特征空间（Eigenspace）。

特征多项式与特征方程

假设： $$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right)$$

那么$|A-\lambda I|=0$可以写作：

$$|A-\lambda I|=\left|\begin{array}{cccc}{a}_{11}-\lambda & a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}-\lambda & \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}-\lambda \end{array}\right|=0$$

其中$|A-\lambda I|$展开后就是关于特征值$\lambda$的多项式，所以称为特征多项式（Characteristic polynomial）：

$$\underset{|A-\lambda I|}{\underbrace{\left|\begin{array}{cccc}{a}_{11}-\lambda & a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}-\lambda & \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}-\lambda \end{array}\right|}}=c_0{\lambda }^n+c_1{\lambda }^{n-1}+\cdots +c_n$$

进而$|A-\lambda I|=0$被称为特征方程（Characteristic equation）。

已知${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$是$n$阶方阵$A$相异的特征值，以及${\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_m$是${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$对应的特征向量，则向量组$\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_m\}$线性无关。

不同特征值的特征向量是线性无关的。

对角化

如果$n$阶方阵$A$有$n$个线性无关的特征向量${\mathit{p}}_{\mathbf{1}},{\mathit{p}}_{\mathbf{2}},\cdots ,{\mathit{p}}_{\mathit{n}}$，那么如下矩阵：

$$P=({\mathit{p}}_{\mathbf{1}},{\mathit{p}}_{\mathbf{2}},\cdots ,{\mathit{p}}_{\mathit{n}})$$

可以使得：

$$A=P\mathrm{\Lambda }{P}^{-1}$$

其中$\mathrm{\Lambda }$为如下对角阵

$$\mathrm{\Lambda }=\left(\begin{array}{llll}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)$$

其中的${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$为特征向量${\mathit{p}}_{\mathbf{1}},{\mathit{p}}_{\mathbf{2}},\cdots ,{\mathit{p}}_{\mathit{n}}$对应的特征值，该过程称为对角化（Diagonalizable）。

正交矩阵

已知${\mathit{p}}_1,{\mathit{p}}_2,\cdots ,{\mathit{p}}_r$是向量空间$V$的一个基，如果两两正交，即满足：

$${\mathit{p}}_i\cdot {\mathit{p}}_j=0,i\ne j$$

那么称其为正交基（Orthogonal basis）。如果还满足长度均为 1，即：

$${\mathit{p}}_1\cdot {\mathit{p}}_1={\mathit{p}}_2\cdot {\mathit{p}}_2=\cdots ={\mathit{p}}_r\cdot {\mathit{p}}_r=1$$

那么，就称为标准正交基（Orthonormal basis）。

假设${\mathit{p}}_1,{\mathit{p}}_2,\cdots ,{\mathit{p}}_n$是向量空间${\mathbb{R}}^n$的一个标准正交基，那么由它们构造的$n$阶方阵$P$也称为正交矩阵（Orthogonal Matrix）：

$$P=({\mathit{p}}_1,{\mathit{p}}_{\mathbf{2}},\cdots ,{\mathit{p}}_n)$$

该方阵 P 必然满足：

$$P^{\mathrm{T}}P=P^{-1}P=I$$

即$P^{\mathrm{T}}$就是$P$的逆矩阵。

施密特正交化

如果${\mathit{x}}_1,{\mathit{x}}_{\mathbf{2}},\cdots {\mathit{x}}_{\mathit{n}}$是某向量空间的基，那么通过下述方法就可以找到该向量空间的正交基${\mathit{v}}_1,{\mathit{v}}_{\mathbf{2}},\cdots {\mathit{v}}_{\mathit{n}}$，该方法被称为施密特正交化（Gram–Schmidt process）：

$${\mathit{x}}_{\mathbf{1}},\cdots ,{\mathit{x}}_{\mathit{n}}\stackrel{\text{施密特正交化}}{\to }\{\begin{array}{l}{\mathit{v}}_{\mathbf{1}}={\mathit{x}}_{\mathbf{1}}\\ \\ {\mathit{v}}_{\mathbf{2}}={\mathit{x}}_{\mathbf{2}}-\frac{{\mathit{x}}_{\mathbf{2}}\cdot {\mathit{v}}_{\mathbf{1}}}{{\mathit{v}}_{\mathbf{1}}\cdot {\mathit{v}}_{\mathbf{1}}}{\mathit{v}}_{\mathbf{1}}\\ \\ {\mathit{v}}_{\mathbf{3}}={\mathit{x}}_{\mathbf{3}}-\frac{{\mathit{x}}_{\mathbf{3}}\cdot {\mathit{v}}_{\mathbf{1}}}{{\mathit{v}}_{\mathbf{1}}\cdot {\mathit{v}}_{\mathbf{1}}}{\mathit{v}}_{\mathbf{1}}-\frac{{\mathit{x}}_{\mathbf{3}}\cdot {\mathit{v}}_{\mathbf{2}}}{{\mathit{v}}_{\mathbf{2}}\cdot {\mathit{v}}_{\mathbf{2}}}{\mathit{v}}_{\mathbf{2}}\\ \\ ⋮\\ \\ {\mathit{v}}_{\mathit{n}}={\mathit{x}}_{\mathit{n}}-\frac{{\mathit{x}}_{\mathit{n}}\cdot {\mathit{v}}_{\mathbf{1}}}{{\mathit{v}}_{\mathbf{1}}\cdot {\mathit{v}}_{\mathbf{1}}}{\mathit{v}}_{\mathbf{1}}-\cdots -\frac{{\mathit{x}}_{\mathit{n}}\cdot {\mathit{v}}_{\mathit{n}\mathbf{-}\mathbf{1}}}{{\mathit{v}}_{\mathit{n}\mathbf{-}\mathbf{1}}\cdot {\mathit{v}}_{\mathit{n}\mathbf{-}\mathbf{1}}}{\mathit{v}}_{\mathit{n}\mathbf{-}\mathbf{1}}\end{array}$$

正交对角化

如果矩阵$A$是对称阵，且其中的每一个元素都是实数，那么称之为实对称阵（Real symmetric matrices）。此时有如下性质：

若${\lambda }_1,{\lambda }_2$是实对称阵 A 相异的特征值，${\mathit{p}}_1,{\mathit{p}}_2$是${\lambda }_1,{\lambda }_2$对应的特征向量，则有${\mathit{p}}_1$与${\mathit{p}}_2$正交，即：

$${\mathit{p}}_{\mathbf{1}}\cdot {\mathit{p}}_{\mathbf{2}}=0$$

对于$n$阶方阵$A$，如果存在正交矩阵$P$和对角阵$\mathrm{\Lambda }$使得：

$$A=P\mathrm{\Lambda }{P}^{-1}=P\mathrm{\Lambda }{P}^{\mathrm{T}}$$

那么就称该方阵$A$可正交对角化（Orthogonal diagonalizable）。

正交对角化是对角化的一种特殊情况，这里进行一下对比：

• n 阶方阵 A 可对角化，当且仅当有 n 个线性无关的特征向量
• n 阶方阵 A 可正交对角化，当且仅当有 n 个正交的特征向量，此时这 n 个特征向量必然也线性无关

可以证明 A 可正交对角化的充要条件是 A 为对称阵，即： $$A\mathrm{可}\mathrm{正}\mathrm{交}\mathrm{对}\mathrm{角}\mathrm{化}、iffA\mathrm{是}\mathrm{对}\mathrm{称}\mathrm{阵}$$

相似矩阵中的不变量

如果 A 和 B 是相似矩阵，那么两者的特征值相同：

$$A\simeq B⟹A,B\mathrm{的}\mathrm{特}\mathrm{征}\mathrm{值}\mathrm{相}\mathrm{同}$$

如果$\mathit{A}$和$\mathit{B}$是相似矩阵，那么两者的行列式相同：

$$\mathit{A}\simeq \mathit{B}⟹|\mathit{A}|=|\mathit{B}|$$

对于$n$阶方阵$\mathit{A}$，其主对角线（从左上方至右下方的对角线）的元素之和称为迹（Trace），记作$tr(\mathit{A})$：

参考文献

《马同学的线性代数》
感兴趣的可以购买他的课程，写的很好（强烈推荐）！！！