矩阵基础

发表于 2019-05-10 更新于 2021-03-31 分类于数学/math 阅读次数：15

本文字数： 6.8k 阅读时长 ≈ 12 分钟

小结矩阵求解过程中的基础知识

标量、向量和矩阵
矩阵乘法/积
转置、共扼、共扼转置
矩阵的迹
向量化和矩阵化

标量、向量和矩阵

标量（scalar）是一个数值，仅包含大小（magnitude or size）信息
向量（或称为矢量，vector）是一列数值，同时包含大小（magnitude）和方向（direction）信息
矩阵（matrix）是一个数值数组

向量是矩阵的特殊情况（仅有一行或者仅有一列），所以对于矩阵的操作也能应用于向量

矩阵乘法/积

矩阵分别和标量/向量和矩阵的乘积
1.1 令 $A = [a_{i j}]$ 是一个 $m \times n$ 矩阵，且 $α$ 是一个标量。乘积 $α A$ 是一个 $m \times n$ 矩阵，定义为 $[α A]_{i j} = α a_{i j}$ 1.2 $m \times n$ 矩阵 $A = [a_{i j}]$ 与 $r \times 1$ 向量 $x = [x_{1}, . . ., x_{n}]^{T}$ 的乘积 $A x$ 只有当 $n = r$ 时才存在，它是一个 $m \times 1$ 向量，定义为 $[A x]_{i} = \sum_{j = 1}^{n} a_{i j} x_{j}, i = 1, . . ., m$ 1.3 $m \times n$ 矩阵 $A = [a_{i j}]$ 与 $r \times s$ 矩阵 $B = [b_{i j}]$ 的乘积 $A B$ 只有当 $n = r$ 时才存在，它是一个 $m \times s$ 矩阵，定义为 $[A B]_{i j} = \sum_{k = 1}^{n} a_{i k} b_{b j}, i = 1, . . ., m; j = 1, . . ., s$
矩阵相同位置元素相乘 - Hadamard积 $m \times n$ 矩阵 $A = [a_{i j}]$ 与 $m \times n$ 矩阵 $B = [b_{i j}]$ 的Hadamard积记作 $A * B$ ，它仍然是一个 $m \times n$ 矩阵，其元素定义为两个矩阵对应元素的乘积 $(A * B)_{i j} = a_{i j} b_{i j}$
Kronecker积 3.1 $m \times n$ 矩阵 $A = [a_{1}, . . ., a_{n}]$ 和 $p \times q$ 矩阵 $B$ 的右Kronecker积记作 $A ⨂ B$ ，是一个 $m p \times n q$ 矩阵，定义为 $A ⨂ B = [a_{1} B, . . ., a_{n} B] = [a_{i j} B]_{i = 1, j = 1}^{m, n} = [\begin{matrix} a_{11} B & a_{12} B & \dots & a_{1 n} B \\ a_{21} B & a_{22} B & \dots & a_{2 n} B \\ ⋮ & ⋮ & ⋮ & ⋮ \\ a_{m 1} B & a_{m 2} B & \dots & a_{m n} B \end{matrix}]$ 3.2 $m \times n$ 矩阵 $A = [a_{1}, . . ., a_{n}]$ 和 $p \times q$ 矩阵 $B$ 的 (左)Kronecker积 记作 $A ⨂ B$ ，是一个 $m p \times n q$ 矩阵，定义为 $A ⨂ B = [a_{1} B, . . ., a_{n} B] = [a_{i j} B]_{i = 1, j = 1}^{m, n} = [\begin{matrix} A b_{11} & A b_{12} & \dots & A b_{1 q} \\ A b_{21} & A b_{22} & \dots & A b_{2 q} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ A b_{m 1} & A b_{m 2} & \dots & A b_{p q} \end{matrix}]$ 3.3 Kronecker积也称为直积（direct product）或者张量积（tensor product）通常使用右Keonecker积的形式进行书写

转置、共扼、共扼转置

转置指矩阵的行列对应互换；共轭负数是指实数部分相同而虚数部分互为相反数的两个复数

若 $A = [a_{i j}]$ 是一个 $m \times n$ 矩阵，则

$A$ 的转置记作 $A^{T}$ ，是一个 $n \times m$ 矩阵，其元素定义为 $[A^{T}]_{i j} = a_{j i}$
$A$ 的复数共轭 $A^{*}$ 仍然是一个 $m \times n$ 矩阵，其元素定义为 $[A^{*}]_{i j} = a_{i j}^{*}$
$A$ 的（复）共轭转置记作 $A^{H}$ ，它是一个 $n \times m$ 矩阵，定义为

$A^{H} = [\begin{matrix} a_{11}^{*} & a_{21}^{*} & \dots & a_{m 1}^{*} \\ a_{12}^{*} & a_{22}^{*} & \dots & a_{m 2}^{*} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ a_{1 n}^{*} & a_{2 n}^{*} & \dots & a_{m n}^{*} \end{matrix}]$

共轭转置又称为Hermitian伴随、Hermitian转置或Hermitian共轭

对称矩阵：满足 $A^{T} = A$ 的正方实矩阵

Hermitian矩阵（复共轭对称矩阵）：满足 $A^{H} = A$ 的正方复矩阵

共扼转置和转置的关系

$A^{H} = (A^{*})^{T} = (A^{T})^{*}$

矩阵的迹

参考：《矩阵分析与应用》第一章 1.6.4 矩阵的迹

$n \times n$ 矩阵 $A$ 的对角元素之和称为 $A$ 的迹（trace），记作 $t r (A)$ ，即有

$t r (A) = a_{11} + . . . + a_{n m} = \sum_{i = 1}^{n} a_{i i}$

注意：非正方矩阵无迹的定义

关于迹的等式

若 $A$ 和 $B$ 均为 $n \times n$ 矩阵，则 $t r (A \pm B) = t r (A) \pm t r (B)$
若 $A$ 和 $B$ 均为 $n \times n$ 矩阵，并且 $c_{1}$ 和 $c_{2}$ 为常数，则 $t r (c_{1} A \pm c_{2} B) = c_{1} t r (A) \pm c_{2} t r (B)$ 。特别地，若 $B = O$ ，则 $t r (c A) = c t r (A)$
矩阵 $A$ 的转置，复数共轭和复共轭转置的迹分别为 $t r (A^{T}) = t r (A) ， t r (A^{*}) = [t r (A)]^{*}, t r (A^{H}) = [t r (A)]^{H}$
若 $A \in C^{m \times n}, B \in C^{n \times m}$ ，则 $t r (A B) = t r (B A)$
若 $A$ 是一个 $m \times n$ 矩阵，则 $t r (A^{H} A) = 0 \Leftrightarrow A = O_{m \times n} （零矩阵）$
$x^{H} A x = t r (A x x^{H})$ 和 $y^{H} x = t r (x y^{H})$
迹等于特征值之和，即 $t r (A) = λ_{1} + . . . + λ_{n}$
分块矩阵的迹满足 $t r [\begin{matrix} A & B \\ C & D \end{matrix}] = t r (A) + t r (D)$ 其中 $A \in C^{m \times m}, B \in C^{m \times n}, C \in C^{n \times m}, D \in C^{n \times n}$
对于任何正整数 $k$ ，有 $t r (A^{k}) = \sum_{i = 1}^{n} λ_{i}^{k}$

根据迹的等式4进行推理，令 $U = A, V = B C$ 和 $U = A B, V = C$ ，有

$t r (A B C) = t r (B C A) = t r (C A B)$

迹和Hadamard积

另 $A, B, C$ 为 $m \times n$ 矩阵，并且 $1 = [1, 1, . . ., 1]^{T}$ 为 $n \times 1$ 求和向量， $D = d i a g (d_{1}, d_{2}, . . ., d_{m})$ ，其中 $d_{i} = \sum_{j = 1}^{n} a_{i j}$ ，则

$t r (A^{T} (B * C)) = t r ((A^{T} * B^{T}) C) 1^{T} A^{T} (B * C) 1 = t r (B^{T} D C)$

证明如下，设

$A = [\begin{matrix} a_{1} & a_{2} \end{matrix}] B = [\begin{matrix} b_{1} & b_{2} \end{matrix}] C = [\begin{matrix} c_{1} & c_{2} \end{matrix}] D = [\begin{matrix} a_{1} & 0 \\ 0 & a_{2} \end{matrix}]$

所以

$A^{T} (B * C) = [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] ([\begin{matrix} b_{1} & b_{2} \end{matrix}] * [\begin{matrix} c_{1} & c_{2} \end{matrix}]) = [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] [\begin{matrix} b_{1} c_{1} & b_{2} c_{2} \end{matrix}] = [\begin{matrix} a_{1} b_{1} c_{1} & a_{1} b_{2} c_{2} \\ a_{2} b_{1} c_{1} & a_{2} b_{2} c_{2} \end{matrix}]$

$(A^{T} * B^{T}) C = ([\begin{matrix} a_{1} \\ a_{2} \end{matrix}] * [\begin{matrix} b_{1} \\ b_{2} \end{matrix}]) [\begin{matrix} c_{1} & c_{2} \end{matrix}] = [\begin{matrix} a_{1} b_{1} \\ a_{2} b_{2} \end{matrix}] [\begin{matrix} c_{1} & c_{2} \end{matrix}] = [\begin{matrix} a_{1} b_{1} c_{1} & a_{1} b_{1} c_{2} \\ a_{2} b_{2} c_{1} & a_{2} b_{2} c_{2} \end{matrix}]$

$\Rightarrow t r (A^{T} (B * C)) = t r ((A^{T} * B^{T}) C) = a_{1} b_{1} c_{1} + a_{2} b_{2} c_{2}$

$1^{T} A^{T} (B * C) 1 = 1^{T} [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] ([\begin{matrix} b_{1} & b_{2} \end{matrix}] * [\begin{matrix} c_{1} & c_{2} \end{matrix}]) 1 = 1^{T} [\begin{matrix} a_{1} \\ a_{2} \end{matrix}] [\begin{matrix} b_{1} c_{1} & b_{2} c_{2} \end{matrix}] 1 = (a_{1} + a_{2}) [\begin{matrix} b_{1} c_{1} & b_{2} c_{2} \end{matrix}] 1 = (a_{1} + a_{2}) (b_{1} c_{1} + b_{2} c_{2})$

$t r (B^{T} D C) = t r ([\begin{matrix} b_{1} \\ b_{2} \end{matrix}] (a_{1} + a_{2}) [\begin{matrix} c_{1} & c_{2} \end{matrix}]) = t r ((a_{1} + a_{2}) [\begin{matrix} b_{1} \\ b_{2} \end{matrix}] [\begin{matrix} c_{1} & c_{2} \end{matrix}]) = t r ((a_{1} + a_{2}) [\begin{matrix} b_{1} c_{1} & b_{1} c_{2} \\ b_{2} c_{2} & b_{2} c_{2} \end{matrix}]) = (a_{1} + a_{2}) (b_{1} c_{1} + b_{2} c_{2})$

$\Rightarrow 1^{T} A^{T} (B * C) 1 = t r (B^{T} D C) = (a_{1} + a_{2}) (b_{1} c_{1} + b_{2} c_{2})$

对于公式二而言，其矩阵大小变化如下：

$R^{1 \times n} \cdot R^{n \times m} \cdot (R^{m \times n} * R^{m \times n}) \cdot R^{n \times 1} = R^{1}$

所以只要满足结果为 $R^{1}$ ，公式二可以变形如下：

假设 $B / C$ 大小为 $R^{n \times 1}$

$1^{T} \cdot (B * C) = B^{T} \cdot C$

向量化和矩阵化

向量化

列向量化：矩阵 $A \in R^{m \times n}$ 的向量化（vectorization）vec(A)是一个线性变换，它将矩阵 $A = [a_{i j}]$ 的元素按列堆栈（column stacking），排列成一个 $m n \times 1$ 向量

$v e c (A) = [a_{11}, . . ., a_{m 1}, . . ., a_{1 n}, . . ., a_{m n}]^{T}$

行向量化：按行堆栈（stack the rows）

$r v e c (A) = [a_{11}, . . ., a_{1 n}, . . ., a_{m 1}, . . ., a_{m n}]$

注意：默认矩阵向量化指的是列向量化

行向量化和列向量化的关系：

$r v e c (A) = (v e c (A^{T}))^{T} v e c (A^{T}) = (r v e c (A^{T}))^{T}$

存在一个 $m n \times m n$ 置换矩阵，可以将一个矩阵的向量化 $v e c (A)$ 变换为其转置矩阵的向量化 $v e c (A^{T})$ ，称为交换矩阵（communication matrix），记作 $K_{m n}$ ，定义为

$K_{m n} v e c (A) = v e c (A^{T})$

同样存在一个将转置矩阵的向量化 $v e c (A^{T})$ 变换为原矩阵的向量化 $v e c (A)$ 的交换矩阵，记作 $K_{n m}$ ，定义为

$K_{n m} v e c (A^{T}) = v e c (A)$

矩阵化

一个 $m n \times 1$ 向量 $a = [a_{1}, . . ., a_{m n}]^{T}$ 转换为一个 $m \times n$ 矩阵 $A$ 的运算称为矩阵化（matrixing, maxicization），用符号 $u n v e c_{m, n} (a)$ 表示，定义为

$A_{m \times n} = u n v e c_{m, n} (a) = [\begin{matrix} a_{1} & a_{m + 1} & \dots & a_{m (n - 1) + 1} \\ a_{2} & a_{m + 2} & \dots & a_{m (n - 1) + 2} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ a_{m} & a_{2 m} & \dots & a_{m n} \end{matrix}]$

$A_{i j} = a_{i + (j - 1) m}, i = 1, . . ., m; j = 1, . . ., n$

同样的，符号 $u n r v e c_{m, n} (b)$ 记作行向量的矩阵化

$B_{m \times n} = u n v e c_{m, n} (b) = [\begin{matrix} b_{1} & b_{m + 1} & \dots & b_{m (n - 1) + 1} \\ b_{2} & b_{m + 2} & \dots & b_{m (n - 1) + 2} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ b_{m} & b_{2 m} & \dots & b_{m n} \end{matrix}]$

$B_{i j} = a_{j + (i - 1) n}, i = 1, . . ., m; j = 1, . . ., n$

大海