一般逆行列(その 6) - Red cat の数学よもやま話

特異値分解(特異値標準形)

結論から言うと、 $m\times n$ 行列 A に対して n 次の unitary 行列 $Q_1$ と m 次の unitary 行列 $Q_2$ があって

$\Sigma=Q_2^*AQ_1=\left(\begin{array}\Sigma_1&O\\O&O\end{array}\right)$ ,
ただし $\Sigma_1={\rm diag}(\sigma_1,\dots,\sigma_r)$ (r = rank A) で
$\sigma_1\geq\sigma_2\geq\dots\geq\sigma_r>0$

と書ける、という主張で、このときの $A=Q_2\Sigma Q_1^*$ を A の特異値分解という。
今、 $A^*A$ は n 次の Hermite 行列であるが、 $A^*A$ が定める Hermite 形式
$F(\mathbf{x})=\mathbf{x}^*A^*A\mathbf{x}=||A\mathbf{x}||^2\geq 0$
であるから、 $A^*A$ は半正値である。したがって、ある unitary 行列 $Q_1$ によって
$Q_1^*A^*AQ_1={\rm diag}(\lambda_1,\dots,\lambda_r,0,\dots,0)$
と出来る。ただし r = rank A であり、
$\lambda_1\geq\lambda_2\geq\dots\geq\lambda_r>0$
として一般性を失わない。
$(A\mathbf{q}_i^{(1)})^*(A\mathbf{q}_j^{(1)})={\mathbf{q}_i^{(1)}}^*A^*A\mathbf{q}_j^{(1)}=\left\{\begin{array}0&(i\neq j)\\\lambda_i&(1\leq i=j\leq r)\\0&(i=j>r)\end{array}\right.$
である。そこで $\sigma_i=\sqrt{\lambda_i}$ とおいて
$Q_1=(\mathbf{q}_1^{(1)},\dots,\mathbf{q}_n^{(1)})$
に対して
$\mathbf{q}_j^{(2)}=\frac{1}{\sigma_j}A\mathbf{q}_j^{(1)}$ (j = 1 , … , r)
とおくと $1\leq i,j\leq r$ に対しては
${\mathbf{q}_i^{(2)}}^*\mathbf{q}_j^{(2)}=\frac{1}{\sigma_i\sigma_j}{\mathbf{q}_i^{(1)}}^*A^*A\mathbf{q}_j^{(1)}=\left\{\begin{array}0&(i\neq j)\\1&(i=j)\end{array}\right.$
であるから、 $\{\mathbf{q}_j^{(2)}|j=1,\dots,r\}$ は正規直交形をなす。後はこれを含むような $\mathbb{C}^m$ の正規直交基底 $\{\mathbf{q}_j^{(2)}|j=1,\dots,n\}$ を一つ選んでおいて
$Q_2=(\mathbf{q}_2^{(1)},\dots,\mathbf{q}_m^{(2)})$
とおけば
$\mathbf{q}_i^{(2)}^*A\mathbf{q}_j^{(1)}=\left\{\begin{array}\mathbf{q}_i^{(2)}^*(\sigma_j\mathbf{q}_j^{(2)})=\sigma_j\delta_{ij}&(1\leq j\leq r)\\0&(j>r)\end{array}\right.$
となって目的の分解を得る。