概率论基础

参考PCA数学原理，小结PCA求解过程中相关的概率论基础

方差和协方差

方差参考方差 标准差，用于衡量一组数据的离散程度，值越大，表示数据分布越广

$$Var(X)=D(X)=\frac{1}{N}\sum _{i=1}^N(x_i-\mu {)}^2$$

协方差用于判断两组数据之间的相关程度，直观上看，协方差是两个变量总体误差的期望

$$Cov(X,Y)=E[(X-E(X)(Y-E(Y))]=\frac{1}{N}\sum _{i=1}^N(x_i-{\mu }_x)(y_i-{\mu }_y)$$

协方差矩阵

设$X=(X_1,X_2,...,X_N{)}^T$为$n$维随机变量，称矩阵

$$C=(c_{ij}{)}_{n\times n}=\left(\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right)$$

为$n$维随机变量$X$的协方差矩阵（covariance matrix），记为$D(X)$，其中

$$c_{ij}=Cov(X_i,X_j),i,j=1,2,...,n$$

为$X$的分量$X_i$和$X_j$的协方差

以二维随机变量(X_{1}, X_{2})为例，协方差为

$$C=\left(\begin{array}{cc}E[X_1-E(X_1){]}^2& E[X_1-E(X_1)]E[X_2-E(X_2)]\\ E[X_2-E(X_2)]E[X_1-E(X_1)]& E[X_2-E(X_2){]}^2\end{array}\right)$$

所以协方差矩阵是实对称矩阵（元素为实数，矩阵转置等于本身）

协方差矩阵$C$的对角元素$c_{ii}$表示变量$X_i$的方差，非对角元素$c_{ij}$表示变量$X_i$和$X_j$的协方差

相关阅读

• 协方差

• 实对称矩阵

• 协方差矩阵