2.6.3
定理 2.6.3（特異値分解）.
\( A \in M_{n,m} \) とし、\( q = \min\{m,n\} \)、さらに \(\mathrm{rank}\,A = r\) とする。
(a)
ユニタリ行列 \( V \in M_n \)、\( W \in M_m \)、および正方対角行列
\Sigma_q =
\begin{bmatrix}
\sigma_1 & 0 & \cdots & 0 \\
0 & \sigma_2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \sigma_q
\end{bmatrix}
\tag{2.6.3.1}
が存在し、ここで \(\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r \gt 0 = \sigma_{r+1} = \cdots = \sigma_q\) であり、次が成り立つ:
A = V \Sigma W^*
ただし、
\Sigma = \Sigma_q \quad (m=n), \\
\qquad
\Sigma = \begin{bmatrix} \Sigma_q & 0 \end{bmatrix} \in M_{n,m} \quad (m \gt n), \\
\qquad
\Sigma = \begin{bmatrix} \Sigma_q \\ 0 \end{bmatrix} \in M_{n,m} \quad (n \gt m)
\tag{2.6.3.2}
(b)
パラメータ \(\sigma_1, \ldots, \sigma_r\) は、行列 \(AA^*\) の非零固有値の大きい順に並べたものの正の平方根であり、これは \(A^*A\) の非零固有値の大きい順に並べたものと一致する。
証明.
まず \(m=n\) の場合を考える。Hermitian 行列 \(AA^* \in M_n\) と \(A^*A \in M_n\) は同じ固有値をもち（1.3.22）、したがってユニタリ類似である（2.5.4(d)）。
よってユニタリ行列 \(U\) が存在して
A^*A = U (AA^*) U^*
が成り立つ。したがって
(UA)^*(UA) = A^*A, \quad (UA)(UA)^* = UAA^*U^*
であり、よって \(UA\) は正規行列である。\(UA\) の固有値を \(\lambda_j = |\lambda_j| e^{i\theta_j}\) とし、\(|\lambda_1| \geq \cdots \geq |\lambda_n|\) となるように並べる。このとき \(\mathrm{rank}A = \mathrm{rank}(UA) = r\) は非零固有値の数であり、\(|\lambda_r| \gt 0\)、\(\lambda_{r+1} = \cdots = \lambda_n = 0\) である。
ここで \(\Lambda = \mathrm{diag}(\lambda_1, \ldots, \lambda_n)\)、\(D = \mathrm{diag}(e^{i\theta_1}, \ldots, e^{i\theta_n})\)、\(\Sigma_q = \mathrm{diag}(|\lambda_1|, \ldots, |\lambda_n|)\) とする。またユニタリ行列 \(X\) が存在して \(UA = X \Lambda X^*\) である。したがって
A = U^*X \Lambda X^* = U^*X \Sigma_q D X^* = (U^*X)\Sigma_q(DX^*)
となり、\(V = U^*X, \, W = XD^*\) はユニタリ行列であり、\(\sigma_j = |\lambda_j|\) である。
次に \(m \gt n\) の場合を考える。
このとき \(\mathrm{rank}A = r \leq n\) であり、零空間の次元は \(m-r \geq m-n\) である。
零空間から直交規格化されたベクトル \(x_1, \ldots, x_{m-n}\) をとり、\(X_2 = [x_1 \cdots x_{m-n}] \in M_{m,m-n}\) とする。
さらに \(X = [X_1 \; X_2] \in M_m\) をユニタリ行列とする。
このとき
AX = [AX_1 \; AX_2] = [AX_1 \; 0], \quad AX_1 \in M_{n}
である。先の結果を用いて \(AX_1 = V \Sigma_q W^*\) と表せる。
従って
A = [AX_1 \; 0]X^* = V[\Sigma_q \; 0]
\begin{bmatrix}
W^* & 0 \\
0 & I_{m-n}
\end{bmatrix} X^*
となり、所望の分解が得られる。\(n \gt m\) の場合は \(A^*\) に対して同様に適用すればよい。
さらに \(A = V\Sigma W^*\) により \(\mathrm{rank}A = \mathrm{rank}\Sigma\) である。ここで \(\Sigma\) の非零対角成分の数が \(\mathrm{rank}A\) である。
また
AA^* = V \Sigma W^* W \Sigma^T V^* = V \Sigma \Sigma^T V^*
であるので、\(AA^*\) は \(\Sigma\Sigma^T\) とユニタリ類似である。
\(n=m\) の場合、\(\Sigma\Sigma^T = \Sigma_q^2 = \mathrm{diag}(\sigma_1^2, \ldots, \sigma_n^2)\)。
\(m \gt n\) の場合も \(\Sigma\Sigma^T = \Sigma_q^2\)。\(n \gt m\) の場合は
\Sigma \Sigma^T =
\begin{bmatrix}
\Sigma_q \\ 0
\end{bmatrix}
\begin{bmatrix}
\Sigma_q & 0
\end{bmatrix}
=
\begin{bmatrix}
\Sigma_q^2 & 0 \\
0 & 0_{n-m}
\end{bmatrix}
となる。したがって \(AA^*\) の非零固有値は \(\sigma_1^2, \ldots, \sigma_r^2\) である。
式 (2.6.3.2) における \(\Sigma\) の対角成分、すなわち \(\Sigma_q\) の対角成分 \(\sigma_1, \ldots, \sigma_q\) を \(A\) の特異値という。
特異値 \(\sigma\) の重複度は、\(\sigma^2\) が \(AA^*\)（または同値に \(A^*A\)）の固有値である重複度に等しい。
特異値 \(\sigma\) が単純であるとは、\(\sigma^2\) が単純固有値であることをいう。
行列のランクは非零特異値の数に等しいが、非零固有値の数より大きくなる場合もある。
特異値は \(A^*A\)（あるいは \(AA^*\)）の固有値から一意に決定される。
したがって特異値分解における対角成分 \(\Sigma\) は、その並べ方に自由度があるが、慣習的には特異値を非増加順に並べることで一意に定める。他の並べ方を選ぶことも可能である。
演習.
\( A \in M_{m,n} \) とする。このとき、\(A, \overline{A}, A^T, A^*\) が同じ特異値をもつ理由を説明せよ。
演習.
\( A \in M_n \) の特異値を \(\sigma_1, \ldots, \sigma_n\) とする。このとき
\sigma_1 \cdots \sigma_n = | \det A |,
\qquad
\sigma_1^2 + \cdots + \sigma_n^2 = \mathrm{tr}(A^* A)
\tag{2.6.3.3}
が成り立つ理由を説明せよ。
演習.
\( A \in M_2 \) とする。このとき \(A\) の二つの特異値の二乗は次式で与えられることを示せ。
\sigma_1^2, \, \sigma_2^2
= \tfrac{1}{2} \left( \mathrm{tr}(A^* A)
\pm \sqrt{(\mathrm{tr}(A^* A))^2 - 4|\det A|^2} \right)
\tag{2.6.3.4}
演習.
次の冪零行列
A =
\begin{bmatrix}
0 & a_{12} & 0 & \cdots & 0 \\
0 & 0 & a_{23} & \cdots & 0 \\
\vdots & \vdots & \ddots & \ddots & \vdots \\
0 & 0 & \cdots & 0 & a_{n-1,n} \\
0 & 0 & \cdots & 0 & 0
\end{bmatrix}
\in M_n
（すなわち、非零成分は第1上対角成分にのみ現れる） の特異値が
0, \, |a_{12}|, \ldots, |a_{n-1,n}|
となる理由を説明せよ。
次の定理は、行列の特異値がその成分に連続的に依存するという事実を正確に定式化したものである。
コメント