[行列解析7.0.2]共分散行列（Covariance Matrices）

7.0.2

実または複素の確率変数 \( X_1, X_2, \ldots, X_n \) が、有限の2次モーメントをもつ確率空間上で定義されているとする。このとき、期待値作用素を \( E \) とし、各確率変数の平均を \( \mu_i = E(X_i) \) とする。

確率ベクトル \( X = (X_1, X_2, \ldots, X_n)^T \) に対して、その共分散行列 \( A = [a_{ij}] \) は次のように定義される。

a_{ij} = E\left[ (\overline{X_i} - \overline{\mu_i})(X_j - \mu_j) \right], \quad i, j = 1, \ldots, n

この定義から、行列 \( A \) はエルミート（Hermitian）であることが明らかである。さらに、任意のベクトル \( z = [z_i] \in \mathbb{C}^n \) に対して次が成り立つ。

z^{*} A z = E\left( \sum_{i,j=1}^{n} \overline{z_i} (\overline{X_i} - \overline{\mu_i}) z_j (X_j - \mu_j) \right) = E\left( \left| \sum_{i=1}^{n} z_i (X_i - \mu_i) \right|^2 \right) \ge 0

この結果に関与する期待値作用素 \( E \) の性質は、次の3つだけである。

確率論的な枠組みを用いずに、同様の考察を行うこともできる。実数直線上の複素値関数 \( f_1, f_2, \ldots, f_n \) があり、さらに実数値関数 \( g(x) \) が与えられているとする。もし次の積分がすべて定義され、収束するなら、

a_{ij} = \int_{-\infty}^{\infty} f_i(x) \overline{f_j(x)} g(x) \, dx, \quad i, j = 1, \ldots, n

このとき行列 \( A = [a_{ij}] \) はエルミートである。さらに、

z^{*} A z = \sum_{i,j=1}^{n} \int_{-\infty}^{\infty} \overline{z_i f_i(x)} z_j f_j(x) g(x) \, dx = \int_{-\infty}^{\infty} \left| \sum_{i=1}^{n} z_i f_i(x) \right|^2 g(x) \, dx

したがって、この2次形式は \( g(x) \) が非負の関数であるとき、常に非負である。つまり、\( g(x) \ge 0 \) のとき行列 \( A \) は半正定値（positive semidefinite）である。