7.4.2 最も近い特異行列と最も近いランク\(k\)行列
任意の非特異行列 \(A\) に十分近い行列（あるノルムに関して）は非特異である（式 (5.6.17) の前の演習を参照）。しかし、\(A\) から特異行列全体の閉集合までの距離について、どのようなことが言えるだろうか。最も近い特異行列をどのように特定できるだろうか。また、それは一意であるだろうか。
\(A = V \Sigma W^{*} \in M_{n}\) を特異値分解とし、\(\Sigma = \mathrm{diag}(\sigma_{1}(A), \ldots, \sigma_{n}(A))\)、かつ \(\sigma_{n}(A) \gt 0\) とする。\(B \in M_{n}\) が特異であるならば、\(\sigma_{n}(B) = 0\) である。式 (7.4.1.3a) の不等式から次が成り立つ。
\|A - B\|_{F}^{2} \ge \sum_{i=1}^{n} (\sigma_{i}(A) - \sigma_{i}(B))^{2}
= \sum_{i=1}^{n-1} (\sigma_{i}(A) - \sigma_{i}(B))^{2} + \sigma_{n}^{2}(A)
\ge \sigma_{n}^{2}(A)
したがって、任意の特異行列 \(B \in M_{n}\) に対して上式が成り立つ。したがって、\(\|A - B\|_{F}^{2} = \sigma_{n}^{2}(A)\) を満たす \(B\) は、フロベニウスノルムにおいて \(A\) に最も近い特異行列である。このような行列の特異値は一意に定まる。つまり、それらは \(A\) の \(n - 1\) 個の最大の特異値と1つのゼロから構成される。
\(\Sigma_{0} = \mathrm{diag}(\sigma_{1}(A), \ldots, \sigma_{n-1}(A), 0)\) とし、\(B_{0} = V \Sigma_{0} W^{*}\) とおく。このとき、
\|A - B_{0}\|_{F}^{2} = \sum_{i=1}^{n} (\sigma_{i}(A) - \sigma_{i}(B))^{2} = \sigma_{n}^{2}(A)
となり、式 (7.4.1.5) によって予想されるように、\(A B_{0}^{*}\) および \(B_{0}^{*} A\) は半正定値である。フロベニウスノルムにおける \(A\) と \(B_{0}\) の距離は \(\sigma_{n}(A)\) であり、これより近い特異行列は存在しない。したがって、\(\sigma_{n}(A)\) は、フロベニウスノルムにおける \(A\) から特異行列全体の閉集合までの距離である。\(B_{0}\) は、フロベニウスノルムにおける \(A\) の最良の特異近似とみなすことができる。
一意性について考える。もし \(\sigma_{n-1}(A) = \sigma_{n}(A)\) ならば、\(\hat{\Sigma}_{0} = \mathrm{diag}(\sigma_{1}(A), \ldots, \sigma_{n-2}(A), 0, \sigma_{n}(A))\) とおく。このとき \(C_{0} = V \hat{\Sigma}_{0} W^{*}\) は特異であり、\(B_{0} \ne C_{0}\) である。また、
\|A - C_{0}\|_{F} = \sigma_{n-1}(A) = \sigma_{n}(A) = \|A - B_{0}\|_{F}
が成り立つので、この場合、\(A\) の最良の特異近似は一意ではない。しかし、もし \(\sigma_{n-1}(A) \gt \sigma_{n}(A)\) であれば、\(\|A - B\|_{F} = \sigma_{n}(A)\) を満たす特異行列 \(B\) は \(B_{0}\) のみである（命題 7.4.P17 を参照）。
次に、\(A \in M_{m,n}\)、\(\mathrm{rank}(A) = r\)、および \(1 \le k \lt r\) の場合を考える。同じ原理を用いて、\(A\) の「最良のランク\(k\)近似」を求めることができる。\(A = V \Sigma W^{*}\) を特異値分解とし、\(\Sigma \in M_{m,n}\) の対角成分を \(\sigma_{1}(A) \ge \cdots \ge \sigma_{q}(A)\) とする。もし \(B \in M_{m,n}\) で \(\mathrm{rank}(B) = k\) ならば、式 (7.4.1.3a) から次が成り立つ。
\|A - B\|_{F}^{2} \ge \sum_{i=1}^{q} (\sigma_{i}(A) - \sigma_{i}(B))^{2}
= \sum_{i=1}^{k} (\sigma_{i}(A) - \sigma_{i}(B))^{2} + \sum_{i=k+1}^{q} \sigma_{i}^{2}(A)
\ge \sum_{i=k+1}^{q} \sigma_{i}^{2}(A)
したがって、\(\|A - B\|_{F}^{2} = \sum_{i=k+1}^{q} \sigma_{i}^{2}(A)\) を満たす任意の \(B\) は、\(A\) の最良のランク\(k\)近似である。このような行列の特異値も一意に定まる。それらは \(A\) の上位 \(k\) 個の特異値と \(q - k\) 個のゼロで構成される。
\(\Sigma_{0} \in M_{m,n}\) を対角成分が \(\sigma_{1}(A), \ldots, \sigma_{k}(A)\) および \(q - k\) 個のゼロである対角行列とし、\(B_{0} = V \Sigma_{0} W^{*}\) とおく。このとき、
\|A - B_{0}\|_{F}^{2} = \sum_{i=k+1}^{q} \sigma_{i}^{2}(A)
となるので、\(B_{0}\) は \(A\) の最良のランク\(k\)近似である。また、その一意性は \(\sigma_{k-1}(A) \gt \sigma_{k}(A)\) のとき、かつそのときに限り成立する。フロベニウスノルムにおける \(A\) から最も近いランク\(k\)行列までの距離は、
\left( \sum_{i=k+1}^{q} \sigma_{i}^{2}(A) \right)^{1/2}
で与えられる。
行列解析の総本山
コメント