参考PCA数学原理,小结PCA
求解过程中相关的概率论基础
方差和协方差
参考:协方差
方差参考方差 标准差,用于衡量一组数据的离散程度,值越大,表示数据分布越广
协方差用于判断两组数据之间的相关程度,直观上看,协方差是两个变量总体误差的期望
协方差矩阵
参考:
设$X=(X_{1}, X_{2}, …, X_{N})^{T}$为$n$维随机变量,称矩阵
为$n$维随机变量$X$的协方差矩阵(covariance matrix),记为$D(X)$,其中
为$X$的分量$X_{i}$和$X_{j}$的协方差
以二维随机变量(X_{1}, X_{2})为例,协方差为
所以协方差矩阵是实对称矩阵(元素为实数,矩阵转置等于本身)
协方差矩阵$C$的对角元素$c_{ii}$表示变量$X_{i}$的方差,非对角元素$c_{ij}$表示变量$X_{i}$和$X_{j}$的协方差