[行列解析7.0.1]ヘッセ行列、最小化、および凸性

7.0.1.ヘッセ行列、最小化、および凸性
行列解析の総本山

7.0.1.ヘッセ行列、最小化、および凸性

滑らかな実数値関数 \( f \) を、ある領域 \( D \subset \mathbb{R}^n \) 上で考える。もし \( y = [y_i] \) が \( D \) の内部点であるなら、テイラーの定理により次が成り立つ。

f(x) = f(y) + \sum_{i=1}^{n} (x_i - y_i) \left. \frac{\partial f}{\partial x_i} \right|_y + \frac{1}{2} \sum_{i,j=1}^{n} (x_i - y_i)(x_j - y_j) \left. \frac{\partial^2 f}{\partial x_i \partial x_j} \right|_y + \cdots

ここで \( x \in D \) は \( y \) の近傍の点であるとする。もし \( y \) が \( f \) の臨界点（すなわち、全ての1階偏導関数が消える点）であるなら、次のように書ける。

f(x) - f(y) = \frac{1}{2} \sum_{i,j=1}^{n} (x_i - y_i)(x_j - y_j) \left. \frac{\partial^2 f}{\partial x_i \partial x_j} \right|_y + \cdots = \frac{1}{2} (x - y)^{T} H(f; y) (x - y) + \cdots

実数 \( n \times n \) 行列

H(f; y) = \left[ \left. \frac{\partial^2 f}{\partial x_i \partial x_j} \right|_y \right]_{i,j=1}^{n}

を、点 \( y \) における \( f \) のヘッセ行列（Hessian）という。混合偏導関数の等式 \( \frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i} \) が成り立つことから、ヘッセ行列 \( H(f; y) \) は対称行列である。

次の2次形式

(7.0.1.1)