线性代数

原图

向量空间

向量

n 个有序的数$a_1,a_2,...,a_n$所组成的数组称为$n$ 维向量，这$n$个数称为该向量的$n$个分量，第$i$个数$a_i$称为第$i$个分量。$n$维向量可写成一行，也可写成一列。分别称为行向量和列向量：

• n 维列向量：

$$\begin{pmatrix}a_1\\a_2\\\vdots\\a_n\end{pmatrix}$$

• 与 n 维行向量：

$$(a_1,a_2,...,a_n)\quad 或、quad \begin{pmatrix}a_1&a_2&\cdots&a_n\end{pmatrix}$$

$n$也称为该向量的维数。

向量的基本运算法则

\begin{array}{c|c} \hline \\ \quad 加法、quad & \quad\begin{aligned} 交换律、\ 结合律 \end{aligned}\quad & \quad\begin{aligned}\boldsymbol{v}+\boldsymbol{u}=\boldsymbol{u}+\boldsymbol{v}\qquad\quad\\ \boldsymbol{u}+\boldsymbol{v}+\boldsymbol{w}=\boldsymbol{u}+(\boldsymbol{v}+\boldsymbol{w}) \end{aligned}\quad\\ \\ \hline \\ \quad 数乘、quad & \quad\begin{aligned} 交换律、\ 结合律、\分配律 \end{aligned}\quad & \quad\begin{aligned}k\cdot\boldsymbol{u}=\boldsymbol{u}\cdot k\qquad\ \ \\ k\cdot m\cdot\boldsymbol{u}=k\cdot(m\cdot\boldsymbol{u})\\k(\boldsymbol{u}+\boldsymbol{v})=k\boldsymbol{u}+k\boldsymbol{v}\ \ \end{aligned}\quad\\ \\ \hline \end{array}

线性组合

• 向量组：
  若干同维数的列向量（或者同维数的行向量）所组成的集合，叫做向量组。比如同维数 的向量$\boldsymbol{a_1},\boldsymbol{a_2},...\boldsymbol{a_m}$，可 以组成向量组$\mathcal{A}$，通常记作：

  $$\mathcal{A}:\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol {a_m}\quad 或、quad \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol {a_2},...,\boldsymbol{a_m}\}$$

• 线性相关：
  给定向量组$\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},..., \boldsymbol{a_m}\}$和向量$\boldsymbol{b_{}}$，如果存在一组实数$k_1, k_2,...k_m$，使：

  $$\boldsymbol{b_{}}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+... +k_m\boldsymbol{a_m}$$

  则称向量$\boldsymbol{b_{}}$能由向量组$\mathcal{A}$ 线性表示，或称向量 $\boldsymbol{b_{}}$是向量组$\mathcal{A}$的线性组合。

• 线性相关和线性无关：
  给定向量组$\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},..., \boldsymbol{a_m}\}$，如果存在不全为零的实数$k_1,k_2,...k_m$，使：

  $$k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+...+k_m\boldsymbol{a_m} =\boldsymbol{0}$$

  则称向量组$\mathcal{A}$是线性相关的，否则称它为线性无关。

向量空间

设$\mathcal{V}$为一向量组，如果$\mathcal{V}$非空，且$\mathcal{V}$对于向量的加法及数乘两种运算封闭，那么就称$\mathcal{V}$为向量空间。

所谓封闭，是指在$\mathcal{V}$中向量进行数乘和加减，其结果依然在$\mathcal{V}$中。具体的说，就是：

• 若$\boldsymbol{a}\in \mathcal{V},\boldsymbol{b}\in \mathcal{V}$，则$\boldsymbol{a}+\boldsymbol{b} \in \mathcal{V}$。
• 若$\boldsymbol{a}\in \mathcal{V},k\in \mathbb{R}$，则$k\boldsymbol{a} \in \mathcal{V}$。

张成空间

张成空间的定义

某向量组$\mathcal{A}=\{\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p}\}$，其所有线性组合构成的集合为向量空间，也称为向量组$\mathcal{A}$的张成空间，记为$span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})$，即：

$$span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})=\{k_1\boldsymbol{v_1}+k_2\boldsymbol{v_2}+...+k_p\boldsymbol{v_p},k_{1,2,...,p}\in\mathbb{R}\}$$

也称$span(\boldsymbol{v_1},\boldsymbol{v_2},...,\boldsymbol{v_p})$为向量组$\mathcal{A}$所张成。

等价向量组

设有两个向量组$\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_m}\}$及$\mathcal{B}=\{\boldsymbol{b_1},\boldsymbol{b_2},...,\boldsymbol{b_n}\}$，若向量组$\mathcal{B}$中的每个向量都能由向量组$\mathcal{A}$线性表示，则称向量组$\mathcal{B}$能由向量组$\mathcal{A}$线性表示。

若向量组$\mathcal{A}$与向量组$\mathcal{B}$能相互线性表示，则称这两个向量组等价，也可以说$\mathcal{A}$和$\mathcal{B}$是等价向量组。

最大无关组

设有向量组$\mathcal{A}$，如果在$\mathcal{A}$中能选出$r$个向量$\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_r}$满足：

• 向量组$\mathcal{A}_0=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_r}\}$线性无关。
• 向量组$\mathcal{A}$中任意$r+1$个向量（如果$\mathcal{A}$中有$r+1$个向量的话）都线性相关，那么称向量组$\mathcal{A}_0$是向量组$\mathcal{A}$的一个最大线性无关组，简称最大无关组。

向量组的秩

假设向量组$A$的最大无关组为：

$$\mathcal{A}_0=\{a_1,a_2,\cdots,a_r\}$$

$\mathcal{A}_0$的向量个数$r$称为向量组$\mathcal{A}$的秩，记做$rank(\mathcal{A})$，有时也记作$r(\mathcal{A})$。

向量空间的基

• 基：
  已知$\mathcal{V}$为向量空间，如果其中的某向量组：

  $$\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...\boldsymbol {a_n}\}$$

  是$\mathcal{V}$的最大无关组，那么向量组$\mathcal{A}$被称为向量空间 $\mathcal{V}$的一个基。

• 坐标：
  假设$\mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_n}\}$是向量空间$\mathcal{V}$的一个基，则$\mathcal{V}$中每个向量$\boldsymbol{x}$可唯一地表示为：

  $$\boldsymbol{x}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+\cdots +k_n\boldsymbol{a_n}$$

  上式的系数可以组成向量：

  $$[\boldsymbol{x}]_\mathcal{A}=\begin{pmatrix}k_1\\k_2\\\vdots\\k_n\end{pmatrix}$$

  我们将其称为$\boldsymbol{x}$在基$\mathcal{A}$下的坐标向量，或者简称为$\boldsymbol{x}$在基$\mathcal{A}$下的坐标。

• 维度：
  假设向量空间$\mathcal{V}$的基为：

  $$\mathcal{A}=\{a_1,a_2,\cdots,a_r\}$$

  则$\mathcal{A}$的秩$r$称为该向量空间的维度，或者称$\mathcal{V}$为$r$维向量空间。

数量积（点积）

点积的定义

向量$\boldsymbol{x}=\begin{pmatrix}x_1\\\vdots\\x_n\end{pmatrix}$和 $\boldsymbol{y}=\begin{pmatrix}y_1\\\vdots\\y_n\end{pmatrix}$的点积$(dot product)$，或称内积$(inner product)$，定义为：

$$\boldsymbol{x}\cdot\boldsymbol{y}=x_1y_1+\cdots+x_ny_n=\displaystyle\sum_{i=1}^{n}x_iy_i$$

点积还可以称为数量积或者标量积，这是因为两个向量通过点积运算之后的结果是数量（标量）。

点积的性质

$$\begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad \boldsymbol{a}\cdot\boldsymbol{b}=\boldsymbol{b}\cdot\boldsymbol{a}\quad\\ \quad 数乘结合律、quad&\quad (k\boldsymbol{a})\cdot\boldsymbol{b}=k(\boldsymbol{b}\cdot\boldsymbol{a})\quad\\ \quad 分配律、quad&\quad (\boldsymbol{a}+\boldsymbol{b})\cdot\boldsymbol{c}=\boldsymbol{a}\cdot\boldsymbol{c}+\boldsymbol{b}\cdot\boldsymbol{c}\quad\\ \\ \hline \end{array}$$

矩阵和矩阵运算

矩阵的定义

由$m\times n$个数$a_{ij}(i=1,2,...m;j=1,2...n)$排成的$m$行$n$列的数表称为$m$行$n$列矩阵$（Matrix）$，简称$m\times n$矩阵。为表示这些数字是一个整体，总是加一个括弧，下面就表示了矩阵$A$：

$$A=\underbrace{\begin{pmatrix}a_{11}&a_{12}&...&a_{1n}\\a_{21}&a_{22}&...&a_{2n}\\...&...&&...\\a_{m1}&a_{m2}&...&a_{mn}\end{pmatrix}}_{\large n 列}\left.\begin{aligned}\\\\\\\\\end{aligned}\right\}m 行$$

可以用$a_{ij}$或$a_{i,j}$来表示该矩阵$A$的第$i$行$j$列的数字，刚才的矩阵还可以简记为：

$$A=(a_{ij})=(a_{i,j})$$

为了表示矩阵的行数和列数，$m\times n$矩阵$A$也记作$A_{m\times n}$。

高斯消元法

• 行阶梯形矩阵：
  非零矩阵若满足：

  • 非零行在零行（如果存在的话）的上面
  • 非零行最左边的首非零元素在上一行（如果存在的话）的首非零元素的右面

  所以称为行阶梯形矩阵（Row echelon form），非零行最左边的首非零元素称为主元（Pivot element）。

• 对角矩阵：
  若 n 阶方阵如下：

  $$\Lambda_{n}=\begin{pmatrix}\lambda_1&0&...&0\\0&\lambda_2&...&0\\...&...&&...\\ 0&0&...&\lambda_n\end{pmatrix}$$

  对角线以外的元素都是 0，这种方阵称为对角矩阵（Diagonal matrix），简称对角阵，也记作：

  $$\Lambda_{n}=diag(\lambda_1,\lambda_2,...,\lambda_n)$$

• 单位阵：
  如果 n 阶对角阵的对角线上的元素全为 1：

  $$I_n=\begin{pmatrix}1&0&...&0\\0&1&...&0\\...&...&&...\\ 0&0&...&1\end{pmatrix}$$

  该对角阵称为 n 阶单位矩阵（Identity matrix），或者简称为单位阵。在国内教材中，单位阵一般用 E 表示。

• 行最简形矩阵：
  若 A 是行阶梯形矩阵，并且还满足：

  • 主元为 1
  • 除主元外，其所在列的其它元素均为 0

  则称 A 为行最简形矩阵（Reduced row echelon form）.

• 初等行变换和初等行矩阵：
  完成高斯消元法只需要三种操作，这三种操作是作用在矩阵的行上的，所以又称为初等行变换（Elementary row operations）。在单位阵上应用这三种初等行变换一次得到的矩阵称为初等行矩阵（Elementary row matrix），也就是下列表格中最右的矩阵：

  $$\begin{array}{c|c|c} \hline \quad 初等行变换、quad &\quad 操作、quad &\quad 初等行矩阵、quad\\ \hline \\ \quad \begin{aligned}\color{SkyBlue}{倍加变换} \qquad\qquad\quad\\\text{row-addition transformations}\end {aligned}\quad &\quad \boldsymbol{r_1}'=\boldsymbol{r_1} +k\boldsymbol{r_2}\quad &\quad \begin{pmatrix}1&{\color{red} {k}}&0\\0&1&0\\0&0&1\end{pmatrix}\quad \\ \hline \\ \quad \begin{aligned}\color{Goldenrod}{倍乘变换} \qquad\qquad\quad\\\text{row-multiplying transformations} \end{aligned}\quad &\quad \boldsymbol{r_1}'=k\boldsymbol {r_1} (k\neq 0)\quad & \quad \begin{pmatrix}{\color{red}{k}}&0&0\\0&1&0\\0&0&1\end {pmatrix}\quad \\ \\ \hline \\ \quad \begin{aligned}\color{orange}{对换变换} \qquad\qquad\quad\\\text{row-switching transformations}\end {aligned}\quad &\quad \boldsymbol{r_1}\leftrightarrow \boldsymbol{r_2}\quad & \quad \begin{pmatrix}{\color{red}{0}}&{\color{red}{1}}& {\color{red}{0}}\\ {\color{red}{1}}&{\color{red}{0}}&{\color{red}{0}}\\0&0& 1\end{pmatrix}\quad \\ \\ \hline \end{array}$$

  初等行矩阵乘上矩阵 A，就相当于在矩阵 A 上实施了对应的初等行变换。

矩阵的加法与乘法

两个矩阵的行数相等、列数也相等时，就称它们是同型矩阵。

• 加法：
  设有两个$m\times n$矩阵$A=(a_{ij})$和$B=(b_{ij})$，那么矩阵$A$和$B$的和记做$A+B$，规定为：

  $$A+B=\begin{pmatrix}a_{11}+b_{11}&a_{12}+b_{12}&...&a_{1n}+b_{1n}\\a_{21}+b_{21}&a_{22}+b_{22}&...&a_{2n}+b_{2n}\\ ...&...&&...\\a_{m1}+b_{m1}&a_{m2}+b_{m2}&...&a_{mn}+b_{mn}\end{pmatrix}$$

• 矩阵加法运算规律：

  $$\begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad A+B=B+A\quad\\ \quad 结合律、quad&\quad (A+B)+C=A+(B+C)\quad\\ \\ \hline \end{array}$$

• 矩阵数乘：
  数$k$与矩阵$A$的乘积记作：

  $$kA\quad 或、quad Ak$$

  规定为：

  $$kA=Ak= \begin{pmatrix} ka_{11}&ka_{12}&\cdots&ka_{1n}\\ ka_{21}&ka_{22}&\cdots&ka_{2n}\\ \cdots&\cdots& &\cdots\\ ka_{m1}&ka_{m2}&\cdots&ka_{mn}\end{pmatrix}$$

• 数乘的运算规律：

  $$\begin{array}{c|c} \hline \\ \quad 结合律、quad&\quad (\lambda\mu) A=\lambda(\mu A)\quad\\ \\ \quad 分配律、quad&\quad \begin{aligned}(\lambda+\mu) A=\lambda A+\mu A\\\lambda(A+B)=\lambda A+\lambda B\end {aligned}\quad\\ \\ \hline \end{array}$$

• 矩阵乘法的定义：
  设$A=(a_{ij})$是一个$m\times s$矩阵，$B=(b_{ij})$是一个$s\times n$矩阵，那么规定$A$与$B$的乘积是一个$m\times n$矩阵$C=(c_{ij})$，其中：

  $$c_{ij}=\boldsymbol{a}_{i*}\cdot\boldsymbol{b}_{*j}=a_{i1}b_{1j} +a_{i2}b_{2j}+...+a_{is}b_{sj}=\displaystyle \sum_{k=1}^s a_{ik} b_{kj} (i=1,\cdots,m;j=1,\cdots,n)$$

  并把乘积记作：

  $$C=AB$$

• 矩阵乘法运算规律：

  $$\begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad 不一定满足、quad\\ \quad 数乘交换律、quad&\quad \lambda(AB)=(\lambda A)B=A (\lambda B)（其中、lambda 是数）\quad\\ \quad 结合律、quad&\quad (AB)C=A(BC)\quad\\ \quad 分配律、quad&\quad A(B+C)=AB+AC\quad\\ \\ \hline \end{array}$$

矩阵的幂与转置

类似于$x^n$称为$x$的幂运算，矩阵也有幂运算，也称为矩阵的幂：
设$A$是方阵，定义：

$$A^1=A,\quad A^2=A^1A^1,\quad\cdots,\quad A^{k+1}=A^kA^1$$

其中 k 为正整数。

• 矩阵的转置：
  把矩阵$A$的行换成同序数的列，该操作称为矩阵的转置运算。转置运算后可以得到一个新矩阵，该矩阵称为 A 的转置矩阵，记作$A^\mathrm{T}$。或者用符号表示如下：

  $$A=(a_{ij}),\quad A^\mathrm{T}=(a_{ji})$$

• 转置的性质：

  $$(A^\mathrm{T})^\mathrm{T}=A$$

  (AB)^\mathrm{T}=B\mathrm{T}A^\mathrm{T}

  $$(A^\mathrm{T})^n=(A^n)^\mathrm{T}$$

  (A+B)^\mathrm{T}=A\mathrm{T}+B^\mathrm{T}

  对于两个同维向量$\boldsymbol{x}$和$\boldsymbol{y}$，有：

  \boldsymbol{x}^\mathrm{T}\boldsymbol{y}=(\boldsymbol{x}\cdot\boldsymbol{y})

  $$$$

  若：

  $$A^T=A$$

  则矩阵 A 称为对称矩阵。

  若：

  $$A^T=-A$$

  则矩阵 A 称为反对称矩阵。

矩阵函数

其实，任给一个 RGB 都可以如上转为对应的$YP_rP_b$。为了表明这一点，我们用未知向量$\boldsymbol{x}、\boldsymbol{y}$来替换常向量$\boldsymbol{a}、\boldsymbol{b}$：

$$\underbrace{\begin{pmatrix}0.299&0.587&0.114\\0.5&-0.418688&-0.081312\\-0.168736&-0.331264&0.5\end{pmatrix}}_{\large \boldsymbol{A}}\ \underbrace{\begin{pmatrix}R\\G\\B\end{pmatrix}}_{\large \boldsymbol{x}}\ =\ \underbrace{\begin{pmatrix}Y\\P_r\\P_b\end{pmatrix}}_{\large \boldsymbol{y}}$$

这样就得到了函数$\boldsymbol{A}\boldsymbol{x}=\boldsymbol{y}（）$，也称为矩阵函数，其输入为$\boldsymbol{x}$，输出为$\boldsymbol{y}$：

矩阵函数的性质

$$\begin{array}{c|c} \hline \\ \quad 交换律、quad&\quad 不一定满足、quad\\ \quad 数乘交换律、quad&\quad \lambda(AB)=(\lambda A)B=A(\lambda B)（其中、lambda 是数）\quad\\ \quad 结合律、quad&\quad (AB)C=A(BC)\quad\\ \quad 分配律、quad&\quad A(B+C)=AB+AC\quad\\ \\ \hline \end{array}$$

矩阵的秩

行秩和列秩

列空间

矩阵 A 的列向量为：

$$A= \begin{pmatrix} {\color{green}{a_{11}}}&{\color{blue}{a_{12}}}&\cdots&{\color{purple}{a_{1n}}}\\ {\color{green}{a_{21}}}&{\color{blue}{a_{22}}}&\cdots&{\color{purple}{a_{2n}}}\\ \vdots&\vdots&\quad&\vdots\\ {\color{green}{a_{m1}}}&{\color{blue}{a_{m2}}}&\cdots&{\color{purple}{a_{mn}}} \end{pmatrix} =({\color{green}{\boldsymbol{c_1}}},{\color{blue}{\boldsymbol{c_2}}},\cdots,{\color{purple}{\boldsymbol{c_n}}})$$

包含所有列向量的向量组称为列向量组，即：

$$列向量组：\{\boldsymbol{c_1},\boldsymbol{c_2},\cdots,\boldsymbol{c_n}\}$$

列向量组的张成空间称为列空间，记作$colsp(A)$，即：

$$\begin{aligned} colsp(A) &=span(\{\boldsymbol{c_1},\boldsymbol{c_2},\cdots,\boldsymbol{c_n}\})\\ &=x_1\boldsymbol{c_1}+x_2\boldsymbol{c_2}+\cdots+x_n\boldsymbol{c_n},\quad x_{1,2,\cdots,n}\in\mathbb{R} \end{aligned}$$

列向量组的秩，也就是列空间的维度，称为列秩，即：

$$列秩=rank(colsp(A))$$

如果列向量组线性无关，就称为列满秩。

行空间

矩阵 A 的行向量为：

$$A= \begin{pmatrix} {\color{green}{a_{11}}}&{\color{green}{a_{12}}}&\cdots&{\color{green}{a_{1n}}}\\ {\color{blue}{a_{21}}}&{\color{blue}{a_{22}}}&\cdots&{\color{blue}{a_{2n}}}\\ \vdots&\vdots&\quad&\vdots\\ {\color{purple}{a_{m1}}}&{\color{purple}{a_{m2}}}&\cdots&{\color{purple}{a_{mn}}} \end{pmatrix} =\begin{pmatrix}{\color{green}{\boldsymbol{r_1}^\mathrm{T}}}\\{\color{blue}{\boldsymbol{r_2}^\mathrm{T}}}\\\vdots\\{\color{purple}{\boldsymbol{r_m}^\mathrm{T}}}\end{pmatrix}$$

包含所有行向量的向量组称为行向量组，即：

$$行向量组：\{\boldsymbol{r_1}^\mathrm{T},\boldsymbol{r_2}^\mathrm{T},\cdots,\boldsymbol{r_m}^\mathrm{T}\}$$

行向量组的张成空间称为行空间，记作$rowsp(A)$，即：

$$\begin{aligned} rowsp(A) &=span(\{\boldsymbol{r_1}^\mathrm{T},\boldsymbol{r_2}^\mathrm{T},\cdots,\boldsymbol{r_m}^\mathrm{T}\})\\ &=x_1\boldsymbol{r_1}^\mathrm{T}+x_2\boldsymbol{r_2}^\mathrm{T}+\cdots+x_m\boldsymbol{r_m}^\mathrm{T},\quad x_{1,2,\cdots,m}\in\mathbb{R} \end{aligned}$$

行向量组的秩，也就是行空间的维度，称为行秩，即：

$$行秩=rank(rowsp(A))$$

如果行向量组线性无关，就称为行满秩。

秩

• 矩阵的秩的定义：
  对于任意矩阵，始终有列秩等于行秩，所以统称为矩阵的秩，即：

  $$矩阵的秩=列秩=行秩$$

  矩阵 A 的秩记作$rank(A)$，有时也简写为$r(A)$。

• 秩的几何意义：
  根据自然定义域下，矩阵函数的值域可知，在自然定义域下

  • 列向量矩阵函数$A\boldsymbol{x}=\boldsymbol{y}$的值域的维度是列秩
  • 行向量矩阵函数$\boldsymbol{x}^\mathrm{T}A=\boldsymbol{y}^\mathrm{T}$的值域的维度是行秩

  因为行秩=列秩=秩，所以当在自然定义域下时，秩就是矩阵函数的值域的维度。下面来看几个例子。

• 满秩：
  如果某个矩阵，既是列满秩，又是行满秩，那么就称该矩阵为满秩矩阵，或者简称为满秩。满秩矩阵必为方阵。

• 秩的性质：

  • 秩的取值范围：

  $$0\le rank(A_{m\times n})\le\min(m,n)$$

  • 转置矩阵的秩：

  $$rank(A)=rank(A^\mathrm{T})$$

  • 复合函数的秩：

  $$rank(AB)\leq\min\Big(rank(A),rank(B)\Big)$$

  • 满秩矩阵复合的秩。假设 P、Q 为满秩矩阵，那么：

  $$rank(PA)=rank(AQ)=rank(PAQ)=rank(A)$$

  • 矩阵相加的秩。假设 A、B 为同型矩阵，那么：

  $$rank(A+B)\le rank(A)+rank(B)$$

逆矩阵

逆矩阵的定义

若存在两个$n$阶方阵$\boldsymbol{A}、\boldsymbol{C}$，两者的乘积为$n$阶单位阵$\boldsymbol{I}$：

$$\boldsymbol{A}\boldsymbol{C}=\boldsymbol{I}\qquad 且、qquad \boldsymbol{C}\boldsymbol{A}=\boldsymbol{I}$$

那么$\boldsymbol{C}$就是$\boldsymbol{A}$的逆矩阵，即有$\boldsymbol{A}^{-1}=\boldsymbol{C}$，且$\boldsymbol{A}^{-1}$是唯一的。

如果可以通过一系列初等行矩阵$\boldsymbol{E}_i$，将矩阵$\boldsymbol{A}$变换成单位阵$\boldsymbol{I}$，则$\boldsymbol{A}$的逆矩阵就是这些初等行矩阵的乘积：

$$\underbrace{\boldsymbol{E}_1\boldsymbol{E}_2...\boldsymbol{E}_n}_{\boldsymbol{A}^{-1}}\boldsymbol{A}=\boldsymbol{I}$$

逆矩阵的运算规律

若$\boldsymbol{A}$可逆，则$\boldsymbol{A}^{-1}$也可逆，且：

$$(\boldsymbol{A}^{-1})^{-1}=\boldsymbol{A}$$

若$\boldsymbol{A}$可逆，数$\lambda\ne 0$，则$\lambda\boldsymbol{A}$可逆，且：

$$(\lambda\boldsymbol{A})^{-1}=\frac{1}{\lambda}\boldsymbol{A}^{-1}$$

若$\boldsymbol{A}、\boldsymbol{B}$为同阶方阵且均可逆，则$\boldsymbol{A}\boldsymbol{B}$也可逆，且：

$$(\boldsymbol{A}\boldsymbol{B})^{-1}=\boldsymbol{B}^{-1}\boldsymbol{A}^{-1}$$

若$\boldsymbol{A}$可逆，则$\boldsymbol{A}^\mathrm{T}$也可逆，且：

$$(\boldsymbol{A}^\mathrm{T})^{-1}=(\boldsymbol{A}^{-1})^\mathrm{T}$$

线性方程组的求解

• 解的存在性
  对于线性方程组$\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}$，它的增广矩阵为$\boldsymbol{B}=(\boldsymbol{A}\ |\ \boldsymbol{b_{}})$，那么：

  • 有解，当且仅当$rank(\boldsymbol{A})=rank(\boldsymbol{B})$
  • 无解，当且仅当$rank(\boldsymbol{A}) < rank(\boldsymbol{B})$

  行满秩矩阵一定有解

• 解的个数判别法：
  对于线性方程组$\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}$，它的增广矩阵为$\boldsymbol{B}=(\boldsymbol{A}\ |\ \boldsymbol{b_{}})$，如果$\boldsymbol{A}$为$m\times n$的矩阵，那么：

  • 有唯一解，当且仅当$rank(\boldsymbol{A})=rank(\boldsymbol{B})=n$
  • 有无数解，当且仅当$rank(\boldsymbol{A})=rank(\boldsymbol{B})<n$

  满秩矩阵解有唯一解

行列式

行列式定义

二阶行列式

假设有二阶方阵$\boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{pmatrix}$，那么刚才定义的运算规则称为该二阶方阵$\boldsymbol{A}$对应的行列式$|\boldsymbol{A}|$，也称为二阶行列式：

$$|\boldsymbol{A}|=\begin{vmatrix}a_{11}&a_{12}\\a_{21}&a_{22}\end{vmatrix}=a_{11}a_{22}-a_{12}a_{21}$$

上述定义只要求$\boldsymbol{A}$是方阵，不要求是满秩矩阵。

三阶行列式

假设有三阶方阵$\boldsymbol{A}=\begin{pmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{pmatrix}$，那么刚才定义的运算规则称为该三阶方阵$\boldsymbol{A}$对应的行列式$|\boldsymbol{A}|$，也称为三阶行列式：

$$\begin{aligned} |\boldsymbol{A}| &=\begin{vmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{vmatrix}\\ &=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{11}a_{23}a_{32}-a_{12}a_{21}a_{33}-a_{13}a_{22}a_{31} \end{aligned}$$

上述定义也只要求、boldsymbol{A}是方阵，不要求是满秩矩阵。

全排列

把 n 个不同的元素排成一列，叫做这 n 个元素的全排列。

逆序数

在一个排列（也就是数列）中，如果一对数的前后位置与大小顺序相反，即前面的数大于后面的数，那么它们就称为一个逆序。一个排列中逆序的总数就称为该排列的逆序数。逆序数为奇数的排列称为奇排列，逆序数为偶数的排列称为偶排列。

行列式定义

对于$n$阶方阵$\boldsymbol{A}=(a_{ij})$，其行列式定义为：

$$|\boldsymbol{A}|=|a_{ij}|=\begin{vmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\quad&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{vmatrix}=\sum(-1)^ta_{1p_1}a_{2p_2}\cdots a_{np_n}$$

其中，$t$为排列$p_1p_2\cdots p_n$的逆序数，$\sum$表示对$“1,2,\cdots,n”$的全排列$“p_1p_2\cdots p_n”$求和。

向量积

向量积$\boldsymbol{S}$投影到了各个平面：

$$\boldsymbol{S}\xrightarrow{\quad 投影、quad} \begin{cases} \boldsymbol{S_{xoy}}\\ \boldsymbol{S_{yoz}}\\ \boldsymbol{S_{zox}} \end{cases}$$

将这些投影加起来就得到了向量积$\boldsymbol{S}$：

$$\begin{aligned} \boldsymbol{S} &=\boldsymbol{b}\times\boldsymbol{c}\\ \quad\\ &=\boldsymbol{S_{xoy}}+\boldsymbol{S_{yoz}}+\boldsymbol{S_{zox}}\\ \quad\\ &=\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3}+\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}+\begin{vmatrix}b_3&c_3\\b_1&c_1\end{vmatrix}\boldsymbol{e_2}\\ \quad\\ &=\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}+\begin{vmatrix}b_3&c_3\\b_1&c_1\end{vmatrix}\boldsymbol{e_2}+\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3} \end{aligned}$$

为了方便记忆，上面的式子往往如下书写，这就是向量积的定义：

$$\boldsymbol{b}\times\boldsymbol{c}=\begin{vmatrix}b_2&c_2\\b_3&c_3\end{vmatrix}\boldsymbol{e_1}-\begin{vmatrix}b_1&c_1\\b_3&c_3\end{vmatrix}\boldsymbol{e_2}+\begin{vmatrix}b_1&c_1\\b_2&c_2\end{vmatrix}\boldsymbol{e_3}$$

子式和余子式

子式

在$m\times n$矩阵$\boldsymbol{A}$中，任取 k 行与 k 列$（k\le m,k\le n）$，位于这些行、列交叉处的$k^2$个元素，不改变它们在$\boldsymbol{A}$中所处的位置次序而得的 k 阶行列式，称为矩阵$\boldsymbol{A}$的 k 阶子式（Minor）。

设$\boldsymbol{A}$是$m\times n$的矩阵，$I$是集合$\{1,...,m\}$的一个$k$元子集，$J$是集合$\{1,...,n\}$的一个$k$元子集，$|\boldsymbol{A}|_{I,J}$是$\boldsymbol{A}$的$k$阶子式，其中抽取的 k 行的行号是 I 中所有元素，$k$列的列号是$J$中所有元素。那么：

• 如果$I=J$，称$|\boldsymbol{A}|_{I,J}为、boldsymbol{A}$的$k$阶主子式（Principal minor）。
• 如果$I=J=\{1,\cdots,k\}$所取的是左起前 k 列和上起前$k$行），称$|\boldsymbol{A}|_{I,J}$为$\boldsymbol{A}$的$k$阶顺序主子式（Leading principal minor）。

设在矩阵$\boldsymbol{A}$中有一个不等于 0 的 r 阶子式$|\boldsymbol{B}_{r}|$，且所有$r+1$阶子式（如果存在的话）全等于 0，那么$|\boldsymbol{B}_{r}|$称为矩阵$\boldsymbol{A}$的最高阶非零子式，数 r 称为矩阵$\boldsymbol{A}$的秩。（不适合求矩阵的秩，太麻烦）

余子式

在 n 阶行列式中，把$a_{ij}$所在的第 i 行和第 j 列划去后，留下来的 n-1 阶行列式叫做$a_{ij}$的余子式，记做$\boldsymbol{M}_{ij}$.

代数余子式

在$a_{ij}$的余子式$M_{ij}$的基础上，还可以定义$A_{ij}$，称为$a_{ij}$的代数余子式：

$$A_{ij}=(-1)^{i+j}M_{ij}$$

总结

行列式的性质

• 行列式转置：
  对于 n 阶方阵$\boldsymbol{A}=(a_{ij})$，有：

  $$|\boldsymbol{A}|= \begin{vmatrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\quad&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{vmatrix},\quad |\boldsymbol{A}^\mathrm{T}|= \begin{vmatrix} a_{11}&a_{21}&\cdots&a_{n1}\\ a_{12}&a_{22}&\cdots&a_{n2}\\ \vdots&\vdots&\quad&\vdots\\ a_{1n}&a_{2n}&\cdots&a_{nn} \end{vmatrix}$$

  行列式$|\boldsymbol{A}^\mathrm{T}|$称为行列式$|\boldsymbol{A}|$的转 置行列式。可以证明：

  $$|\boldsymbol{A}|=|\boldsymbol{A}^\mathrm{T}|$$

• 满秩、可逆与行列式：
  对于方阵$\boldsymbol{A}$有：

  $$|\boldsymbol{A}|\ne 0\iff \boldsymbol{A}\ 满秩、iff \boldsymbol{A}\ 可逆$$

• 行列式的数乘：
  行列式乘以 k 倍，等于某行（列）乘以 k，该性质也可以称为行列式的数乘：

  $$$$

\begin{vmatrix}
a_{11}&a_{12}&\dots &a_{1n}\
\vdots &\vdots &\ddots &\vdots\
a_{n1}&a_{n2}&\dots &a_{nn}
\end{vmatrix}

\begin{vmatrix}
a_{11}&a_{12}&\dots&a_{1n}\
\vdots &\vdots &\ddots &\vdots\
{\color {blue}k}a_{i1}&{\color{blue}k}a_{i2}&\dots&{\color{blue}k}a_{in}\
\vdots &\vdots &\ddots &\vdots \
a_{n1}&a_{n2}&\dots &a_{nn}
\end{vmatrix}

\begin{vmatrix}
a_{11}&\dots&{\color {blue}k}a_{1j}&\dots &a_{1n}\
\vdots &\dots&{\color {blue}k}a_{2j} &\dots &\vdots \
\vdots &\ddots&\vdots&\ddots &\vdots
\a_{n1}&\dots&{\color {blue}k}a_{nj}&\dots &a_{nn}
\end{vmatrix}
$$

• 行或列互换：
  行列式中的行（列）互换后，行列式正负号发生改变：

  $$$$

  \vdots &\vdots &\vdots &\vdots \
  {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\
  \vdots &\vdots &\vdots &\vdots \
  {\color{ForestGreen}{a_{j1}}}&{\color{ForestGreen}{a_{j2}}}&\dots&{\color{ForestGreen}{a_{jn}}}\
  \vdots &\vdots &\vdots &\vdots \
  \end{vmatrix}
  =
  -\begin{vmatrix}
  \vdots &\vdots &\vdots &\vdots \
  {\color{ForestGreen}{a_{j1}}}&{\color{ForestGreen}{a_{j2}}}&\dots&{\color{ForestGreen}{a_{jn}}}\
  \vdots &\vdots &\vdots &\vdots \
  {\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\
  \vdots &\vdots &\vdots &\vdots \
  \end{vmatrix}

$$- 行列式的倍加： 将一行（列）的 k 倍加进另一行（列）里，行列式的值不变，该性质也可以称为行列式的倍加：$$

\begin{vmatrix}
\vdots &\vdots &\vdots &\vdots \
a_{i1}&a_{i2}&\dots &a_{in}\
a_{j1}&a_{j2}&\dots &a_{jn}\
\vdots &\vdots &\vdots &\vdots
\end{vmatrix}

\begin{vmatrix}
\vdots &\vdots &\vdots &\vdots\
a_{i1}&a_{i2}&\dots &a_{in}\
a_{j1}{\color{blue}{+ka_{i1}}}&a_{j2}{\color{blue}{+ka_{i2}}}&\dots&a_{jn}{\color{blue}{+ka_{in}}}\
\vdots &\vdots &\vdots &\vdots
\end{vmatrix}

$$- 行列式的加法： 在行列式中，某一行（列）的每个元素是两数之和，则此行列式可拆分为两个相加的行列式，该性质也可以称为行列式的加法：$$

\begin{vmatrix}
a_{11}&a_{12}&\dots &a_{1n}\
\vdots &\vdots &\dots &\vdots\
{\color{blue}{a_{i1}}}+{\color{ForestGreen}{b_{i1}}}&{\color{blue}a_{i2}}+{\color{ForestGreen}{b_{i2}}}&\dots&{\color{blue}{a_{in}}}+{\color{ForestGreen}{b_{in}}}\
\vdots &\vdots &\ddots &\vdots\
a_{n1}&a_{n2}&\dots &a_{nn}
\end{vmatrix} =
\begin{vmatrix}
a_{11}&a_{12}&\dots &a_{1n}\
\vdots &\vdots &\dots &\vdots\
{\color{blue}{a_{i1}}}&{\color{blue}{a_{i2}}}&\dots&{\color{blue}{a_{in}}}\
\vdots &\vdots &\ddots &\vdots\
a_{n1}&a_{n2}&\dots &a_{nn}
\end{vmatrix} +
\begin{vmatrix}
a_{11}&a_{12}&\dots &a_{1n}\
\vdots &\vdots &\dots &\vdots
\{\color{ForestGreen}{b_{i1}}}&{\color{ForestGreen}{b_{i2}}}&\dots &{\color{ForestGreen}{b_{in}}}\
\vdots &\vdots &\ddots &\vdots\
a_{n1}&a_{n2}&\dots &a_{nn}
\end{vmatrix}
$$

• 行列式的乘法：
  对于同阶方阵$\boldsymbol{A},\boldsymbol{B}$，有：

  $$|\boldsymbol{A}\boldsymbol{B}|=|\boldsymbol{A}||\boldsymbol{B}|$$

  该性质又称为行列式的乘法。

• 三角行列式的计算法：

  $$$$

\begin{vmatrix}
a_{11}&&&\
a_{21}&a_{22}&&0\
\vdots &\vdots &\ddots &\
a_{n1}&a_{n2}&\dots &a_{nn}
\end{vmatrix}
= a_{11}a_{22}\cdots a_{nn}

$$- 三角分块行列式的计算法： 设有分块矩阵：$$

\boldsymbol{A}=\begin{pmatrix}\boldsymbol{B}&\boldsymbol{O}\\\boldsymbol{C}&\boldsymbol{D}\end{pmatrix}
$$
则有：
$$
|\boldsymbol{A}|=|\boldsymbol{B}||\boldsymbol{D}|
$$
该性质也称为三角分块行列式的计算法。

• 拉普拉斯展开：
  n 阶方阵$\boldsymbol{A}=(a_{ij})$的行列式可以表示成关于该方阵$\boldsymbol{A}$的某一行的各元素与其对应的代数余子式乘积之和，即：

  $$|\boldsymbol{A}|=a_{i1}A_{i1}+a_{i2}A_{i2}+...+a_{in}A_{in}\quad (i=1,2,...,n)$$

  或表示成关于该方阵 A 的某一列的各元素与其对应的代数余子式乘积之和：

  $$|\boldsymbol{A}|=a_{1j}A_{1j}+a_{2j}A_{2j}+...+a_{nj}A_{nj}\quad (j=1,2,...,n)$$

  这种计算行列式的方法称为拉普拉斯展开（Laplace expansion）。

克拉默法则

有 n 个未知数，n 个方程所组成的线性方程组，它的系数矩阵是 n 阶方阵$\boldsymbol{A}$。如果对应的行列式$|\boldsymbol{A}|$不等于 0，即：

$$|\boldsymbol{A}|=\begin{vmatrix}a_{11}&\cdots&a_{1n}\\\vdots&&\vdots\\a_{n1}&\cdots&a_{nn}\end{vmatrix}\neq 0$$

则方程组有唯一解，并且解为：

$$\displaystyle x_1=\frac{|\boldsymbol{A}_1|}{|\boldsymbol{A}|},\quad x_2=\frac{|\boldsymbol{A}_2|}{|\boldsymbol{A}|},\quad...,\quad x_n=\frac{|\boldsymbol{A}_n|}{|\boldsymbol{A}|}$$

其中$\boldsymbol{A}_j(j=1,2,...,n)$是把系数矩阵$\boldsymbol{A}$中第 j 列的元素用方程组右端的常数项代替后所得到的 n 阶矩阵，即：

$$\boldsymbol{A}_j=\begin{pmatrix} a_{11}&\cdots&a_{1,j-1}&{\color{red}{b_1}}&a_{1,j+1}&\cdots&a_{1n}\\ \vdots&&\vdots&{\color{red}{\vdots}}&\vdots&&\vdots\\ a_{n1}&\cdots&a_{n,j-1}&{\color{red}{b_n}}&a_{n,j+1}&\cdots&a_{nn} \end{pmatrix}$$

这就是克拉默法则（Cramer’s Rule），也称为克莱姆法则。

相似矩阵

基变换

已知两个基$\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s}$以及$\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}$，当且仅当它们是同一个向量空间的基时，那么存在唯一的矩阵 P，使得下式成立：

$$(\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s})=(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s})P$$

该矩阵 P 称为由基$\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m}_s$到基$\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}$的过渡矩阵（Transition matrix），而上述公式称为基变换公式（Change of basis formula）。

过渡矩阵是满秩矩阵。

坐标变换

已知$P$为由基$\mathcal{M}=\{\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m}_s\}$到基$\mathcal{N}=\{\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s}\}$的过渡矩阵：

$$(\boldsymbol{n_1},\boldsymbol{n_2},\ldots,\boldsymbol{n_s})=(\boldsymbol{m_1},\boldsymbol{m_2},\ldots,\boldsymbol{m_s})P$$

又知向量$\boldsymbol{x}在基、mathcal{M}$下的坐标为$[\boldsymbol{x}]_\mathcal{M}$以及在基$\mathcal{N}$下的坐标为$[\boldsymbol{x}]_\mathcal{N}$，则有坐标变换公式（Change of coordinates formula）：

$$[\boldsymbol{x}]_\mathcal{N}= P^{-1}[\boldsymbol{x}]_\mathcal{M},\quad [\boldsymbol{x}]_\mathcal{M}= P[\boldsymbol{x}]_\mathcal{N}$$

基变换和坐标变换的区别在于，前者是右乘过渡矩阵$P$，后者是左乘$P^{-1}$：

相似矩阵

设$A,B$都是$n$阶方阵，若有可逆矩阵$P$，使得：

$$B=P^{-1}AP$$

则称 P 为相似变换矩阵（Similarity transformation matrix），称 B 是 A 的相似矩阵（Similar matrix），记作：

$$A\simeq B$$

相似矩阵其实就是改变矩阵函数的基

相似矩阵的性质

若$A\simeq B$，则：

$$A^k\simeq B^k,\quad k\in\mathbb{Z}^+$$

$$A^\mathrm{T}\simeq B^\mathrm{T}$$

若$A\simeq B$，且$A、B$可逆，则：

$$A^{-1}\simeq B^{-1}$$

$$A^*\simeq B^*$$

若$A\simeq B，B\simeq C$，那么：

$$A\simeq C$$

特征值与特征向量

特征值与特征向量

定义

设 A 是 n 阶方阵，$\boldsymbol{x}$为非零向量，若存在数$\lambda$使得下式成立：

$$A\boldsymbol{x}=\lambda\boldsymbol{x}$$

那么将数$\lambda$称为 A 的特征值（Eigenvalue），非零向量$\boldsymbol{x}$称为$A$的对应于$\lambda$的特征向量（Eigenvector）。

求解

求解步骤还是比较简单，就是通过解下列方程组来求出特征值和特征向量：

$$\begin{cases}|A-\lambda I| = 0\\\\ (A-\lambda I)\boldsymbol{x} = \boldsymbol{0} \end{cases}\Longrightarrow \begin{cases}\lambda = ? \\\\ \boldsymbol{x} = ?\end{cases}$$

更具体的步骤是，先通过第一个式子求出特征值：

$$|A-\lambda I| = 0\implies \lambda_1,\lambda_2,\cdots,\lambda_i,\cdots\lambda_n$$

然后将、lambda_i 代入 (A-\lambda I)\boldsymbol{x}=\boldsymbol{0}求出该线性方程组的解集：

$$(A-\lambda_i I)\boldsymbol{x}=\boldsymbol{0}\implies \boldsymbol{x}=?$$

该解集必然为向量空间，因为其中都是特征值为、lambda_i 的特征向量（零向量除外），所以也称为特征值为$\lambda_i$的特征空间（Eigenspace）。

特征多项式与特征方程

假设：

$$A=\begin{pmatrix}a_{11}& a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}& \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}\end{pmatrix}$$

那么$|A-\lambda I| = 0$可以写作：

$$|A-\lambda I|=\begin{vmatrix} a_{11}-\lambda & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}-\lambda & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}-\lambda \end{vmatrix}=0$$

其中$|A-\lambda I|$展开后就是关于特征值$\lambda$的多项式，所以称为特征多项式（Characteristic polynomial）：

$$\underbrace{\left|\begin{array}{cccc}a_{11}-\lambda & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22}-\lambda & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n}-\lambda\end{array}\right|}_{|A-\lambda I|}=c_0\lambda^{n}+c_1\lambda^{n-1}+\cdots+c_n$$

进而$|A-\lambda I| = 0$被称为特征方程（Characteristic equation）。

已知$\lambda_1,\lambda_2,\cdots,\lambda_m$是$n$阶方阵$A$相异的特征值，以及$\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_m$是$\lambda_1,\lambda_2,\cdots,\lambda_m$对应的特征向量，则向量组$\{\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_m\}$线性无关。

不同特征值的特征向量是线性无关的。

对角化

如果$n$阶方阵$A$有$n$个线性无关的特征向量$\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}$，那么如下矩阵：

$$P=(\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n})$$

可以使得：

$$A=P\Lambda P^{-1}$$

其中$\Lambda$为如下对角阵

$$\Lambda=\left(\begin{array}{llll}\lambda_{1} & & & \\ & \lambda_{2} & & \\ & & \ddots & \\ & & & \lambda_{n}\end{array}\right)$$

其中的$\lambda_1,\lambda_2,\cdots,\lambda_n$为特征向量$\boldsymbol{p_1},\boldsymbol{p_2},\cdots,\boldsymbol{p_n}$对应的特征值，该过程称为对角化（Diagonalizable）。

正交矩阵

已知$\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_r$是向量空间$V$的一个基，如果两两正交，即满足：

$$\boldsymbol{p}_i\cdot\boldsymbol{p}_j=0,\quad i\ne j$$

那么称其为正交基（Orthogonal basis）。如果还满足长度均为 1，即：

$$\boldsymbol{p}_1\cdot\boldsymbol{p}_1=\boldsymbol{p}_2\cdot\boldsymbol{p}_2=\cdots=\boldsymbol{p}_r\cdot\boldsymbol{p}_r=1$$

那么，就称为标准正交基（Orthonormal basis）。

假设$\boldsymbol{p}_1,\boldsymbol{p}_2,\cdots,\boldsymbol{p}_n$是向量空间$\mathbb{R}^n$的一个标准正交基，那么由它们构造的$n$阶方阵$P$也称为正交矩阵（Orthogonal Matrix）：

$$P=(\boldsymbol{p}_1,\boldsymbol{p_2},\cdots,\boldsymbol{p}_n)$$

该方阵 P 必然满足：

$$P^\mathrm{T}P=P^{-1}P=I$$

即$P^\mathrm{T}$就是$P$的逆矩阵。

施密特正交化

如果$\boldsymbol{x}_1,\boldsymbol{x_2},\cdots\boldsymbol{x_n}$是某向量空间的基，那么通过下述方法就可以找到该向量空间的正交基$\boldsymbol{v}_1,\boldsymbol{v_2},\cdots\boldsymbol{v_n}$，该方法被称为施密特正交化（Gram–Schmidt process）：

$$\boldsymbol{x_1},\cdots,\boldsymbol{x_n} \xrightarrow{\quad\text{施密特正交化}\quad} \begin{cases} \boldsymbol{v_1}=\boldsymbol{x_1}\\ \quad\\ \boldsymbol{v_2}=\boldsymbol{x_2}-\frac{\boldsymbol{x_2}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}\\ \quad\\ \boldsymbol{v_3}=\boldsymbol{x_3}-\frac{\boldsymbol{x_3}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}-\frac{\boldsymbol{x_3}\cdot\boldsymbol{v_2}}{\boldsymbol{v_2}\cdot\boldsymbol{v_2}}\boldsymbol{v_2}\\ \quad\\ \qquad\qquad\vdots\\ \\ \boldsymbol{v_n}=\boldsymbol{x_n}-\frac{\boldsymbol{x_n}\cdot\boldsymbol{v_1}}{\boldsymbol{v_1}\cdot\boldsymbol{v_1}}\boldsymbol{v_1}-\cdots-\frac{\boldsymbol{x_n}\cdot\boldsymbol{v_{n-1}}}{\boldsymbol{v_{n-1}}\cdot\boldsymbol{v_{n-1}}}\boldsymbol{v_{n-1}} \end{cases}$$

正交对角化

如果矩阵$A$是对称阵，且其中的每一个元素都是实数，那么称之为实对称阵（Real symmetric matrices）。此时有如下性质：

若$\lambda_1,\lambda_2$是实对称阵 A 相异的特征值，$\boldsymbol{p}_1,\boldsymbol{p}_2$是$\lambda_1,\lambda_2$对应的特征向量，则有$\boldsymbol{p}_1$与$\boldsymbol{p}_2$正交，即：

$$\boldsymbol{p_1}\cdot\boldsymbol{p_2}=0$$

对于$n$阶方阵$A$，如果存在正交矩阵$P$和对角阵$\Lambda$使得：

$$A=P\Lambda P^{-1}=P\Lambda P^\mathrm{T}$$

那么就称该方阵$A$可正交对角化（Orthogonal diagonalizable）。

正交对角化是对角化的一种特殊情况，这里进行一下对比：

• n 阶方阵 A 可对角化，当且仅当有 n 个线性无关的特征向量
• n 阶方阵 A 可正交对角化，当且仅当有 n 个正交的特征向量，此时这 n 个特征向量必然也线性无关

可以证明 A 可正交对角化的充要条件是 A 为对称阵，即：

$$A\ 可正交对角化、iff A\ 是对称阵$$

相似矩阵中的不变量

如果 A 和 B 是相似矩阵，那么两者的特征值相同：

$$A\simeq B\implies A,B 的特征值相同$$

如果$\boldsymbol{A}$和$\boldsymbol{B}$是相似矩阵，那么两者的行列式相同：

$$\boldsymbol{A}\simeq \boldsymbol{B}\implies |\boldsymbol{A}|=|\boldsymbol{B}|$$

对于$n$阶方阵$\boldsymbol{A}$，其主对角线（从左上方至右下方的对角线）的元素之和称为迹（Trace），记作$tr(\boldsymbol{A})$：

参考文献

《马同学的线性代数》
感兴趣的可以购买他的课程，写的很好（强烈推荐）！！！