定義
一般に固有値と固有ベクトルは以下の通り定義される。
$$ AX = \lambda X $$
- Aは正則行列
- Xは0行列以外
上記条件を満たす時、\(\lambda\) を固有値、Xを固有ベクトルという
わかること
- 固有値ベクトルに正則行列Aをかけても、固有値倍されるだけ
- ベクトルの向きは変化しない
機械学習では行列を多用するので、固有値、固有ベクトルは非常に重要
主成分分析などで使う
固有方程式
固有値と固有ベクトルを求める式のことを固有方程式といい、以下の式で求められる。
$$ |A - \lambda I| = 0 $$
Iは単位行列
例題
以下の正則行列Aの固有値と固有ベクトルを求める
$$ A = \begin{pmatrix} 4 & 1 \\ 1 & 4 \end{pmatrix} $$
固有方程式から、
$$ |A - \lambda I| = 0 $$
$$ | \begin{pmatrix} 4 & 1 \\ 1 & 4 \end{pmatrix} - \begin{pmatrix} \lambda & 0 \\ 0 & \lambda \end{pmatrix} | = 0 $$
$$ | \begin{pmatrix} 4-\lambda & 1 \\ 1 & 4-\lambda \end{pmatrix} | = 0 $$
$$ (4-\lambda)^2 - 1 = 0 $$
$$ \lambda^2 - 8\lambda + 15 = 0 $$
$$ (\lambda - 3)(\lambda - 5) = 0 $$
よって、\(\lambda = 3, 5\)とわかる。
あとは、ベクトルを仮にx = (x1, x2)と仮定し、固定値を代入すれば固有ベクトルも算出可能。
固有値分解
固有値分解は実質対角化と同様である
対角化
正方行列Aとし、直行行列Pと対角行列Dに関して以下が成立する
$$ A = P D P^{T}$$
PとDは以下の通りで、\(\lambda\)は固有値\(\vec{v}\)は固有ベクトルという条件を満たします。
$$ P = (\vec{v_1}\ \vec{v_2}\ \cdots) $$
$$ D = \begin{pmatrix} \lambda_1 & & \\ & \lambda_2 & \\ & & \ddots \end{pmatrix}$$
メリット
- 変形により、各特徴量の加算にみなすことができる
- 各項の固有値\(\lambda\)は重みを表していると考えられる
- 0に近い（= 重みが0に近い）ものは無視できる
- 次元削減したことになる
特異値分解（SVD）
SVDはsingular value decompositionの略らしい
定義
\(m \times n\)の行列Aに関して、\(A=U\Sigma V\)が成立する。
- Uは\(m \times m\)の直行行列
- Vは\(n \times n\)の直行行列
- \(\Sigma\)は\(m \times n\)で対角成分が0以上で且つ、大きい順(降順)に並んだ行列
この時、\(\Sigma\)の対角成分のうち、0以外を特異値と言う（0を含める場合もある）
特徴
- \(\Sigma\)は一意だが、UとVは一意とは限らない
- 特異値の個数は行列のrankと一致する