线性代数基础

小结PCA求解过程中相关的线性代数基础（部分几何内容+概率论内容）

• 内积
• 投影
• 向量的线性相关/线性无关
• 向量空间的基
• 线性变换和线性映射
• 矩阵降维
• 特征值和特征向量
• 正交向量组和正交矩阵
• 实对称矩阵

内积

向量的内积既可以由向量坐标的代数运算得出，也可以通过引入两个向量的长度和角度的几何概念来计算得到

在欧几里得几何中，两个笛卡尔坐标向量的点积常称为内积

代数运算

给定$n$个实向量$\alpha =(a_1,a_2,...,a_n{)}^T,\beta =(b_1,b_2,...,b_n{)}^T$，称实数

$$[\alpha ,\beta ]=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$$

为向量$\alpha$与$\beta$的内积

几何运算

给定$n$元实向量$\alpha =(a_1,a_2,...,a_n{)}^T$，称

$$||\alpha ||=\sqrt{[\alpha ,\alpha ]}=\sqrt{a_1^2+a_2^2+...+a_n^2}$$

为向量$\alpha$的长度（范数或模）。长度为$1$的向量称为单位向量，对任一非零向量$\alpha$，向量$\frac{\alpha }{||\alpha ||}$为单位向量，这一过程称为将向量$\alpha$单位化（或规范化/标准化）

设$\alpha ,\beta$为$n$元实非零向量，记

$$<\alpha ,\beta >=\arccos \frac{[\alpha ,\beta ]}{||\alpha ||||\beta ||},0\le <\alpha ,\beta >\le \pi$$

称$<\alpha ,\beta >$为向量$\alpha$和$\beta$的夹角

设二维空间有两个向量$\alpha$和$\beta$，则内积定义如下：

$$\alpha \cdot \beta =||\alpha ||||\beta ||\cos \theta$$

该定义只对二维和三维空间有效

投影

设两个非零向量$\alpha$和$\beta$的夹角为$\theta$，则将$||\beta ||\cdot \cos \theta$叫做向量$\beta$在向量$\alpha$方向上的投影，也称为标投影（scalar projection），是一个标量

引入$\alpha$的单位矢量$\alpha (A)$，称$||\beta ||\cdot \cos \theta \cdot \alpha (A)$为$\beta$在$\alpha$上的矢投影（vector projection），是一个向量

投影和内积关系

设向量$\beta$为$1$，则$\alpha$和$\beta$的内积等于$\alpha$向$\beta$所在直线投影的长度

$$\alpha \cdot \beta =||\alpha ||\cdot \cos (\theta )$$

向量的线性相关/线性无关

设向量组${\alpha }_1,{\alpha }_2,...,{\alpha }_m\in R^n$，如果存在一组不全为零的数$k_1,k_2,...,k_m$，满足

$$k_1{\alpha }_1+k_2{\alpha }_2+...+k_m{\alpha }_m=0$$

则称向量组${\alpha }_1,{\alpha }_2,...,{\alpha }_m$ 线性相关；当且仅当$k_1=k_2=...=k_m=0$时上式才成立，则称向量组${\alpha }_1,{\alpha }_2,...,{\alpha }_m$ 线性无关

几何解释：在二维平面上，线性相关指向量在同一直线上，线性无关指向量不再同一直线上

向量空间的基

设$V$是一个向量空间，${\alpha }_1,{\alpha }_2,...,{\alpha }_r$是$V$中的一组向量，如果满足

1. ${\alpha }_1,{\alpha }_2,...,{\alpha }_r$线性无关
2. $V$中的任一向量都可由${\alpha }_1,{\alpha }_2,...,{\alpha }_r$线性表示

则称${\alpha }_1,{\alpha }_2,...,{\alpha }_r$是$V$中的一组基，数$r$称为$V$的维数，记作$dim(V)=r$，并称$V$是$r$维向量空间

正交基

称基中的向量为基向量，如果基向量两两正交（向量内积为0），则称基为正交基，如果正交基的基向量的模长都是单位长度$1$，则称正交基为标准正交基

正交基中各基向量线性无关

基变换与坐标变换

设${\alpha }_1,{\alpha }_2,...,{\alpha }_r$和${\beta }_1,{\beta }_2,...,{\beta }_r$为向量空间$V$的基，有

$$({\beta }_1,{\beta }_2,...,{\beta }_r)=({\alpha }_1,{\alpha }_2,...,{\alpha }_r)P_{r\times r}$$

称$r$阶矩阵$P$是由基${\alpha }_1,{\alpha }_2,...,{\alpha }_r$到基${\beta }_1,{\beta }_2,...,{\beta }_r$的过渡矩阵，称上式为基变换公式

矩阵$P$是可逆矩阵

设$V$是向量空间，${\alpha }_1,{\alpha }_2,...,{\alpha }_r$和${\beta }_1,{\beta }_2,...,{\beta }_r$分别为$V$的基，且

$$\begin{gathered} X=(x_1,x_2,...,x_r{)}^T \\ Y=(y_1,y_2,...,y_r{)}^T \end{gathered}$$

分别是向量$a$在${\alpha }_1,{\alpha }_2,...,{\alpha }_r$和${\beta }_1,{\beta }_2,...,{\beta }_r$的坐标，则有

$$X=PY或Y=P^{-1}X$$

其中$P$是由基${\alpha }_1,{\alpha }_2,...,{\alpha }_r$到基${\beta }_1,{\beta }_2,...,{\beta }_r$的过渡矩阵，称上式为坐标变换公式

线性变换和线性映射

线性变换（linear transformation）指线性空间$V$到其自身的线性映射，也就是坐标变换

线性映射（linear mapping）指从一个向量空间$V$到另一个向量空间$W$的映射且保持加法和数量乘法运算

矩阵降维

假设有$M$个$N$维向量组成的向量空间$P$，想要将其映射到由$R$个$N$维向量组成的向量空间$A$，则计算如下：

$$PA=\left(\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_M\end{array}\right)(a_1,a_2,\cdots ,a_R)\in R^{M\times R}$$

其中$p_i$表示长度为$N$的行向量，$a_j$表示长度为$N$的列向量

向量空间的矩阵乘法属于线性映射

如果$R$小于$M$，可以称线性映射为$P$到$A$的投影

特征值和特征向量

设$A$是$n$阶方阵，若存在数$\lambda$和$n$维非零向量$X$，使得

$$AX=\lambda X$$

则称数$\lambda$为方阵$A$的特征值；非零向量$X$称为$A$的对应于特征值$\lambda$的特征向量

性质

定理一：设$A$是$n$阶矩阵，则$A^T$与$A$有相同的特征值

定理二：设${\lambda }_1,{\lambda }_2,...,{\lambda }_n$为$n$阶方阵$A=(a_{ij})$的$n$个特征值，则

$$\sum _{i=1}^n{\lambda }_i=\sum _{i=1}^n{a}_{ii}$$

$$\prod _{i=1}^n{\lambda }_i=|A|$$

其中$\sum _{i=1}^n{a}_{ii}$是$A$的主对角线元素之和，称为方阵$A$的迹，记作$tr(A)$

定理三：不同特征值对应的特征向量线性无关，也就是两两正交

求解

求解方阵$A$的特征值与特征向量:

1. 计算$A$的特征多项式：$f(\lambda )=|A-\lambda E|$，其根${\lambda }_1,{\lambda }_2,...,{\lambda }_s({\lambda }_i\ne {\lambda }_j)$就是$A$的$s$个不同的特征值

2. 对每个特征值${\lambda }_i,i=1,2,...,s$，解方程组$(A-{\lambda }_{i}E)X=0$，其基础解系就是$A$的对应于特征值${\lambda }_i$的线性无关的特征向量，其非零解就是$A$的对应于特征值${\lambda }_i$的全部特征向量

特征值和投影关系

矩阵乘法$AX$相当于矩阵$A$在向量$X$上的投影，$\lambda$表示投影大小（以$X$为基）

特征值越大表示数据分布越广，离散程度大，所以其方差越大

正交向量组和正交矩阵

什么是正交向量?

设$\alpha ,\beta$是两个$n$元实向量，若$[\lambda ,\beta ]=0$，则称$\lambda$和$\beta$正交（或垂直），记为$$

向量$\alpha$和$\beta$正交的充分必要条件是$||\alpha +\beta |{|}^2=||\alpha |{|}^2+||\beta |{|}^2$

什么是正交向量组?

若不含零向量的向量组中任意两个向量都正交，则称此向量组为正交向量组

由单位向量构成的正交向量组叫做正交单位向量组（规范正交向量组或标准正交向量组）

什么是正交矩阵？

设$A$为$n$阶矩阵，如果$A{A}^T=E$，则称$A$为正交矩阵

$A$为正交矩阵的充分必要条件是$A$的列（或行）向量组是单位正交向量组

正交向量组和基的关系

大小为$n$的正交向量组两两正交，比线性无关，可以视为$n$维空间的正交基

所以正交单位向量组可以视为标准正交基

实对称矩阵

定理一：设$A$为$n$阶实对称矩阵，${\lambda }_0$是$A$的$r$重特征值，则$A$的属于特征值${\lambda }_0$恰有$r$个线性无关的特征向量，即$R(A-{\lambda }_{0}E)=n-r$

定理二：设$A$为$n$阶实对称矩阵，则存在$n$阶正交矩阵$Q$，使得

$$Q^{-1}AQ=Q^{T}AQ=\mathrm{\Lambda }=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$$

其中${\lambda }_1,{\lambda }_2,...,{\lambda }_n$为$A$的特征值

正交矩阵$Q$由特征值对应的特征向量正交化且单位化后组成，$Q$的第$j$列对应特征值${\lambda }_j$

相关阅读

• PCA数学原理
• 点积
• 内积、点积、数量积有何区别？
• 投影
• 正交
• 标准正交基
• 线性变换
• 线性代数中，特征值与特征向量在代数和几何层面的实际意义是什么？