[行列解析1.0.2]制約付き極値と固有値

1.0.2　制約付き極値と固有値

本章で取り上げるもう一つの重要な概念は、固有ベクトルと固有値の考え方である。

\( Ax \) が \( x \) のスカラー倍となるようなゼロでないベクトル \( x \) は、行列や線形変換の構造を解析するうえで重要な役割を果たす。

このようなベクトルは、より初歩的な場面――すなわち、幾何的制約の下で実対称二次形式を最大化（または最小化）する問題――にも現れる。

具体的には、実対称行列 \( A \in M_n(\mathbb{R}) \) が与えられたとき、次の問題を考える。

(1.0.3)

\text{maximize } x^{\top} A x, \\ \text{ただし(制約)} x \in \mathbb{R}^n, \; x^{\top} x = 1

このような制約付き最適化問題に対して、通常はラグランジュ関数を導入する。

ラグランジアンは次のように定義される。

L = x^{\top} A x - \lambda x^{\top} x

極値を取るための必要条件は次の通りである。

0 = \nabla L = 2(Ax - \lambda x) = 0

したがって、\( x \in \mathbb{R}^n \) で \( x^{\top} x = 1 \)（よって \( x \neq 0 \)）を満たすベクトルが \( x^{\top} A x \) の極値を与えるならば、そのベクトルは次の方程式を満たさなければならない。

A x = \lambda x

ここで、非零ベクトル \( x \) に対して \( Ax = \lambda x \) が成り立つとき、そのスカラー \(\lambda\) を行列 \(A\) の固有値と呼ぶ。