线性代数基础

小结PCA求解过程中相关的线性代数基础(部分几何内容+概率论内容

  • 内积
  • 投影
  • 向量的线性相关/线性无关
  • 向量空间的基
  • 线性变换和线性映射
  • 矩阵降维
  • 特征值和特征向量
  • 正交向量组和正交矩阵
  • 实对称矩阵

内积

向量的内积既可以由向量坐标的代数运算得出,也可以通过引入两个向量的长度和角度的几何概念来计算得到

在欧几里得几何中,两个笛卡尔坐标向量的点积常称为内积

代数运算

给定\(n\)个实向量\(\alpha = (a_{1},a_{2},...,a_{n})^{T}, \beta = (b_{1},b_{2},...,b_{n})^{T}\),称实数

\[ [\alpha, \beta] = a_{1}b_{1} + a_{2}b_{2} + ... + a_{n}b_{n} \]

为向量\(\alpha\)\(\beta\)的内积

几何运算

给定\(n\)元实向量\(\alpha = (a_{1}, a_{2}, ..., a_{n})^{T}\),称

\[ ||\alpha|| = \sqrt{[\alpha, \alpha]} = \sqrt{a_{1}^{2} + a_{2}^{2} + ... + a_{n}^{2}} \]

为向量\(\alpha\)的长度(范数或模)。长度为\(1\)的向量称为单位向量,对任一非零向量\(\alpha\),向量\(\frac {\alpha}{||\alpha||}\)为单位向量,这一过程称为将向量\(\alpha\)单位化(或规范化/标准化)

\(\alpha, \beta\)\(n\)元实非零向量,记

\[ < \alpha, \beta > = \arccos \frac {[\alpha, \beta]}{||\alpha|| ||\beta||}, 0\leq <\alpha, \beta> \leq \pi \]

\(<\alpha, \beta>\)为向量\(\alpha\)\(\beta\)的夹角

设二维空间有两个向量\(\alpha\)\(\beta\),则内积定义如下:

\[ \alpha\cdot \beta = ||\alpha|| ||\beta|| \cos \theta \]

该定义只对二维和三维空间有效

投影

设两个非零向量\(\alpha\)\(\beta\)的夹角为\(\theta\),则将\(||\beta||\cdot \cos \theta\)叫做向量\(\beta\)在向量\(\alpha\)方向上的投影,也称为标投影(scalar projection),是一个标量

引入\(\alpha\)的单位矢量\(\alpha(A)\),称\(||\beta||\cdot \cos \theta\cdot \alpha(A)\)\(\beta\)\(\alpha\)上的矢投影(vector projection),是一个向量

投影和内积关系

设向量\(\beta\)\(1\),则\(\alpha\)\(\beta\)的内积等于\(\alpha\)\(\beta\)所在直线投影的长度

\[ \alpha \cdot \beta = ||\alpha||\cdot \cos (\theta) \]

向量的线性相关/线性无关

设向量组\(\alpha_{1},\alpha_{2},...,\alpha_{m}\in R^{n}\),如果存在一组不全为零的数\(k_{1},k_{2},...,k_{m}\),满足

\[ k_{1}\alpha_{1} + k_{2}\alpha_{2} + ... + k_{m}\alpha_{m} = 0 \]

则称向量组\(\alpha_{1}, \alpha_{2},...,\alpha_{m}\) 线性相关;当且仅当\(k_{1}=k_{2}=...=k_{m}=0\)时上式才成立,则称向量组\(\alpha_{1},\alpha_{2},...,\alpha_{m}\) 线性无关

几何解释:在二维平面上,线性相关指向量在同一直线上,线性无关指向量不再同一直线上

向量空间的基

\(V\)是一个向量空间,\(\alpha_{1},\alpha_{2},...,\alpha_{r}\)\(V\)中的一组向量,如果满足

  1. \(\alpha_{1},\alpha_{2},...,\alpha_{r}\)线性无关
  2. \(V\)中的任一向量都可由\(\alpha_{1},\alpha_{2},...,\alpha_{r}\)线性表示

则称\(\alpha_{1},\alpha_{2},...,\alpha_{r}\)\(V\)中的一组,数\(r\)称为\(V\)的维数,记作\(dim(V)=r\),并称\(V\)\(r\)维向量空间

正交基

称基中的向量为基向量,如果基向量两两正交(向量内积为0),则称基为正交基,如果正交基的基向量的模长都是单位长度\(1\),则称正交基为标准正交基

正交基中各基向量线性无关

基变换与坐标变换

\(\alpha_{1}, \alpha_{2}, ..., \alpha_{r}\)\(\beta_{1}, \beta_{2}, ..., \beta_{r}\)为向量空间\(V\)的基,有

\[ (\beta_{1}, \beta_{2}, ..., \beta_{r}) = (\alpha_{1}, \alpha_{2}, ..., \alpha_{r}) P_{r\times r} \]

\(r\)阶矩阵\(P\)是由基\(\alpha_{1}, \alpha_{2}, ..., \alpha_{r}\)到基\(\beta_{1}, \beta_{2}, ..., \beta_{r}\)的过渡矩阵,称上式为基变换公式

矩阵\(P\)是可逆矩阵

\(V\)是向量空间,\(\alpha_{1}, \alpha_{2}, ..., \alpha_{r}\)\(\beta_{1}, \beta_{2}, ..., \beta_{r}\)分别为\(V\)的基,且

\[ X = (x_{1}, x_{2}, ..., x_{r})^{T}\\ Y = (y_{1}, y_{2}, ..., y_{r})^{T} \]

分别是向量\(a\)\(\alpha_{1}, \alpha_{2}, ..., \alpha_{r}\)\(\beta_{1}, \beta_{2}, ..., \beta_{r}\)的坐标,则有

\[ X = PY \ 或\ Y = P^{-1}X \]

其中\(P\)是由基\(\alpha_{1}, \alpha_{2}, ..., \alpha_{r}\)到基\(\beta_{1}, \beta_{2}, ..., \beta_{r}\)的过渡矩阵,称上式为坐标变换公式

线性变换和线性映射

线性变换(linear transformation)指线性空间\(V\)到其自身的线性映射,也就是坐标变换

线性映射(linear mapping)指从一个向量空间\(V\)到另一个向量空间\(W\)的映射且保持加法和数量乘法运算

矩阵降维

假设有\(M\)\(N\)维向量组成的向量空间\(P\),想要将其映射到由\(R\)\(N\)维向量组成的向量空间\(A\),则计算如下:

\[ PA= \begin{pmatrix} p_{1}\\ p_{2}\\ \vdots \\ p_{M} \end{pmatrix} (a_{1}, a_{2}, \cdots, a_{R}) \in R^{M\times R} \]

其中\(p_{i}\)表示长度为\(N\)的行向量,\(a_{j}\)表示长度为\(N\)的列向量

向量空间的矩阵乘法属于线性映射

如果\(R\)小于\(M\),可以称线性映射为\(P\)\(A\)的投影

特征值和特征向量

\(A\)\(n\)阶方阵,若存在数\(\lambda\)\(n\)维非零向量\(X\),使得

\[ AX = \lambda X \]

则称数\(\lambda\)为方阵\(A\)特征值;非零向量\(X\)称为\(A\)的对应于特征值\(\lambda\)特征向量

性质

定理一:设\(A\)\(n\)阶矩阵,则\(A^{T}\)\(A\)有相同的特征值

定理二:设\(\lambda_{1}, \lambda_{2}, ..., \lambda_{n}\)\(n\)阶方阵\(A=(a_{ij})\)\(n\)个特征值,则

\[ \sum_{i=1}^{n} \lambda_{i} =\sum_{i=1}^{n} a_{ii} \]

\[ \prod_{i=1}^{n} \lambda_{i} =|A| \]

其中\(\sum_{i=1}^{n} a_{ii}\)\(A\)的主对角线元素之和,称为方阵\(A\)的迹,记作\(tr(A)\)

定理三:不同特征值对应的特征向量线性无关,也就是两两正交

求解

求解方阵\(A\)的特征值与特征向量:

  1. 计算\(A\)的特征多项式:\(f(\lambda) = | A - \lambda E |\),其根\(\lambda_{1}, \lambda_{2}, ..., \lambda_{s}(\lambda_{i} \neq \lambda_{j})\)就是\(A\)\(s\)个不同的特征值

  2. 对每个特征值\(\lambda_{i}, i=1,2,...,s\),解方程组\((A-\lambda_{i}E)X=0\),其基础解系就是\(A\)的对应于特征值\(\lambda_{i}\)的线性无关的特征向量,其非零解就是\(A\)的对应于特征值\(\lambda_{i}\)的全部特征向量

特征值和投影关系

矩阵乘法\(AX\)相当于矩阵\(A\)在向量\(X\)上的投影,\(\lambda\)表示投影大小(以\(X\)为基)

特征值越大表示数据分布越广,离散程度大,所以其方差越大

正交向量组和正交矩阵

什么是正交向量?

\(\alpha, \beta\)是两个\(n\)元实向量,若\([\lambda, \beta]=0\),则称\(\lambda\)\(\beta\)正交(或垂直),记为$$

向量\(\alpha\)\(\beta\)正交的充分必要条件是\(||\alpha + \beta||^{2} = ||\alpha||^{2} + ||\beta||^{2}\)

什么是正交向量组?

若不含零向量的向量组中任意两个向量都正交,则称此向量组为正交向量组

由单位向量构成的正交向量组叫做正交单位向量组(规范正交向量组或标准正交向量组)

什么是正交矩阵?

\(A\)\(n\)阶矩阵,如果\(AA^{T}=E\),则称\(A\)为正交矩阵

\(A\)为正交矩阵的充分必要条件是\(A\)的列(或行)向量组是单位正交向量组

正交向量组和基的关系

大小为\(n\)的正交向量组两两正交,比线性无关,可以视为\(n\)维空间的正交基

所以正交单位向量组可以视为标准正交基

实对称矩阵

定理一:设\(A\)\(n\)阶实对称矩阵,\(\lambda_{0}\)\(A\)\(r\)重特征值,则\(A\)的属于特征值\(\lambda_{0}\)恰有\(r\)个线性无关的特征向量,即\(R(A-\lambda_{0}E) = n-r\)

定理二:设\(A\)\(n\)阶实对称矩阵,则存在\(n\)阶正交矩阵\(Q\),使得

\[ Q^{-1}AQ = Q^{T}AQ = \Lambda = diag(\lambda_{1}, \lambda_{2}, ..., \lambda_{n}) \]

其中\(\lambda_{1}, \lambda_{2}, ..., \lambda_{n}\)\(A\)的特征值

正交矩阵\(Q\)由特征值对应的特征向量正交化且单位化后组成,\(Q\)的第\(j\)列对应特征值\(\lambda_{j}\)

相关阅读