矩阵基础

小结矩阵求解过程中的基础知识

  • 标量、向量和矩阵
  • 矩阵乘法/积
  • 转置、共扼、共扼转置
  • 矩阵的迹
  • 向量化和矩阵化

标量、向量和矩阵

参考:Scalars, Vectors and Matrices

  • 标量(scalar)是一个数值,仅包含大小(magnitude or size)信息
  • 向量(或称为矢量,vector)是一列数值,同时包含大小(magnitude)和方向(direction)信息
  • 矩阵(matrix)是一个数值数组

向量是矩阵的特殊情况(仅有一行或者仅有一列),所以对于矩阵的操作也能应用于向量

矩阵乘法/积

参考:

《矩阵分析与应用》第一章 1.1.2 矩阵的基本运算

《矩阵分析与应用》第一章 1.9.2 Hadamard积

《矩阵分析与应用》第一章 1.10.1 Kronnecker积及其性质

矩阵乘法

  1. 矩阵分别和标量/向量和矩阵的乘积

    1.1 令$A=[a_{ij}]$是一个$m\times n$矩阵,且$\alpha$是一个标量。乘积$\alpha A$是一个$m\times n$矩阵,定义为$[\alpha A]_{ij}=\alpha a_{ij}$
    1.2 $m\times n$矩阵$A=[a_{ij}]$与$r\times 1$向量$x=[x_{1},…,x_{n}]^T$的乘积$Ax$只有当$n=r$时才存在,它是一个$m\times 1$向量,定义为

    1.3 $m\times n$矩阵$A=[a_{ij}]$与$r\times s$矩阵$B=[b_{ij}]$的乘积$AB$只有当$n=r$时才存在,它是一个$m\times s$矩阵,定义为

  2. 矩阵相同位置元素相乘 - Hadamard积
    $m\times n$矩阵$A=[a_{ij}]$与$m\times n$矩阵$B=[b_{ij}]$的Hadamard积记作$A*B$,它仍然是一个$m\times n$矩阵,其元素定义为两个矩阵对应元素的乘积
  3. Kronecker积
    3.1 $m\times n$矩阵$A=[a_{1},…,a_{n}]$和$p\times q$矩阵$B$的右Kronecker积记作$A\bigotimes B$,是一个$mp\times nq$矩阵,定义为 3.2 $m\times n$矩阵$A=[a_{1},…,a_{n}]$和$p\times q$矩阵$B$的 (左)Kronecker积 记作$A\bigotimes B$,是一个$mp\times nq$矩阵,定义为 3.3 Kronecker积也称为直积(direct product)或者张量积(tensor product)通常使用右Keonecker积的形式进行书写

转置、共扼、共扼转置

参考:

《矩阵分析与应用》第一章 1.1.2 矩阵的基本运算

共轭

转置

转置指矩阵的行列对应互换;共轭负数是指实数部分相同而虚数部分互为相反数的两个复数

若$A=[a_{ij}]$是一个$m\times n$矩阵,则

  • $A$的转置记作$A^T$,是一个$n\times m$矩阵,其元素定义为$[A^T]_{ij}=a_{ji}$
  • $A$的复数共轭 $A^{}$ 仍然是一个 $m\times n$ 矩阵,其元素定义为 $[A^{}]_{ij}=a^{*}_{ij}$
  • $A$的(复)共轭转置记作$A^{H}$,它是一个$n\times m$矩阵,定义为

共轭转置又称为Hermitian伴随、Hermitian转置或Hermitian共轭

对称矩阵:满足$A^T=A$的正方实矩阵

Hermitian矩阵(复共轭对称矩阵):满足$A^H=A$的正方复矩阵

共扼转置和转置的关系

矩阵的迹

参考:《矩阵分析与应用》第一章 1.6.4 矩阵的迹

$n\times n$矩阵$A$的对角元素之和称为$A$的迹(trace),记作$tr(A)$,即有

注意:非正方矩阵无迹的定义

关于迹的等式

  1. 若$A$和$B$均为$n\times n$矩阵,则$tr(A\pm B)=tr(A)\pm tr(B)$
  2. 若$A$和$B$均为$n\times n$矩阵,并且$c_{1}$和$c_{2}$为常数,则$tr(c_{1}A\pm c_{2}B)=c_{1}tr(A)\pm c_{2}tr(B)$。特别地,若$B=O$,则$tr(cA)=ctr(A)$
  3. 矩阵$A$的转置,复数共轭和复共轭转置的迹分别为 $tr(A^{T})=tr(A),tr(A^{})=[tr(A)]^{}, tr(A^{H})=[tr(A)]^{H}$
  4. 若$A\in C^{m\times n}, B\in C^{n\times m}$,则$tr(AB)=tr(BA)$
  5. 若$A$是一个$m\times n$矩阵,则$tr(A^H A)=0\Leftrightarrow A=O_{m\times n}(零矩阵)$
  6. $x^{H}Ax=tr(Axx^H)$和$y^H x=tr(xy^H)$
  7. 迹等于特征值之和,即$tr(A)=\lambda_{1}+…+\lambda_{n}$
  8. 分块矩阵的迹满足 其中$A\in C^{m\times m}, B\in C^{m\times n}, C\in C^{n\times m}, D\in C^{n\times n}$
  9. 对于任何正整数$k$,有

根据迹的等式4进行推理,令$U=A, V=BC$和$U=AB, V=C$,有

迹和Hadamard积

另$A,B,C$为$m\times n$矩阵,并且$1=[1,1,…,1]^T$为$n\times 1$求和向量,$D=diag(d_{1},d_{2},…,d_{m})$,其中$d_{i}=\sum_{j=1}^{n}a_{ij}$,则

证明如下,设

所以

对于公式二而言,其矩阵大小变化如下:

所以只要满足结果为$R^{1}$,公式二可以变形如下:

假设$B/C$大小为$R^{n\times 1}$

向量化和矩阵化

参考:《矩阵分析与应用》第一章 1.11.1 矩阵的向量化与向量的矩阵化

向量化

  • 列向量化:矩阵$A\in R^{m\times n}$的向量化(vectorization)vec(A)是一个线性变换,它将矩阵$A=[a_{ij}]$的元素按列堆栈(column stacking),排列成一个$mn\times 1$向量
  • 行向量化:按行堆栈(stack the rows)

注意:默认矩阵向量化指的是列向量化

行向量化和列向量化的关系:

存在一个$mn\times mn$置换矩阵,可以将一个矩阵的向量化$vec(A)$变换为其转置矩阵的向量化$vec(A^T)$,称为交换矩阵(communication matrix),记作$K_{mn}$,定义为

同样存在一个将转置矩阵的向量化$vec(A^T)$变换为原矩阵的向量化$vec(A)$的交换矩阵,记作$K_{nm}$,定义为

矩阵化

一个$mn\times 1$向量$a=[a_{1},…,a_{mn}]^T$转换为一个$m\times n$矩阵$A$的运算称为矩阵化(matrixing, maxicization),用符号$unvec_{m,n}(a)$表示,定义为

同样的,符号$unrvec_{m,n}(b)$记作行向量的矩阵化

坚持原创技术分享,您的支持将鼓励我继续创作!