判別分析

判別分析（はんべつぶんせき、テンプレート:Lang-en-short）は、事前に与えられているデータが異なるグループに分かれる場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準（判別関数）を得るための正規分布を前提とした分類の手法。英語では線形判別分析をLDA、二次判別分析をQDA、混合判別分析をMDAと略す。1936年にロナルド・フィッシャーが線形判別分析を発表し、1996年に Trevor Hastie, Robert Tibshirani が混合判別分析を発表した。

3つ以上のグループの判別は重判別分析や正準判別分析と呼ばれる。

判別関数の種類

判別関数には以下の物などがある。

線形判別関数

超平面・直線による判別。線形判別分析は等分散性が必要。

二次判別関数

楕円など二次関数による判別。二次判別分析は等分散性が不要。

非線形判別関数

超曲面・曲線などの非線形判別関数。

前提条件

線形判別分析は、以下の前提条件が成立する必要がある。

• 各グループは多変量正規分布している
• 全てのグループが同じ共分散行列を持つ（等分散性）

その上で、マハラノビス汎距離が等距離の所に直線を引く。これらの前提条件が成立しないとおかしな結果になる。

各グループの平均が異なる以上、分散が異なることは多々ある。等分散性の仮定を外した物が二次判別分析である。それぞれのグループで異なる共分散行列を使用してマハラノビス距離を計算して、等距離になる場所を判別曲面とする方法である。この方法は二次関数となり、正規分布が成立している場合は正しい結果になる。

線形判別分析において、グループ間の確率のロジットは線形関数となるが、ここで線形関数という仮定を残したまま、正規分布や等分散性の仮定を外すとロジスティック回帰や単純パーセプトロンになる。

さらに別な方法としては、線形判別関数を使用したい場合は、線形サポートベクターマシンで線形判別関数を求めるという方法もある。

線形判別分析

線形判別関数は以下の通り。これの正負で判断。$x$ は入力、$\mu$ は平均、$\mathrm{\Sigma }$ は共分散行列。この式は多変量正規分布の式より導出できる。

${(x-\frac{{\mu }_{\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}}+{\mu }_{\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}}}{2})}^T{\mathrm{\Sigma }}^{-1}({\mu }_{\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}}-{\mu }_{\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}})$

より細かく、線形判別関数 ($y=\sum _{i=1}^n{a}_i{x}_i+a_0$) の求め方を以下に示す。

1. 第一群、第二群についてそれぞれ積和を求める(N はサンプルサイズ)。

   $W_{ij}=\sum _{k=1}^N(x_i^{(k)}-{\bar{x}}_i)(x_j^{(k)}-{\bar{x}}_j)$

2. 第一群と第二群の平方和・積和を、同じ2変数について足し、自由度 $N_{\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}}+N_{\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}}-2$ で除す。

   $S_{ij}=\frac{W_{ij}\mathrm{(}\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}\mathrm{)}+W_{ij}\mathrm{(}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}\mathrm{)}}{N_{\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}}+N_{\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}}-2}$

3. $S_{ij}$ を、その $i$行$j$列に対応させて分散共分散行列$𝐒$とし、各変数にかかる係数を$n$行$1$列に並べた行列を$𝐀$、第一群の各変数の平均値から第二群の各変数を引いた数 $x_i\mathrm{(}\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}\mathrm{)}-x_i\mathrm{(}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}\mathrm{)}$を$n$行$1$列に並べた行列を$𝐗$とすると以下の式が成り立つ。

   $𝐒𝐀=𝐗$ ゆえに $𝐀={𝐒}^{-1}𝐗$

4. これにより各変数にかかる係数を求めることができる。

   定数項は、$a_0=-\frac{1}{2}\sum _{i=1}^n{a}_i\{x_i\mathrm{(}\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{)}+x_i\mathrm{(}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{g}\mathrm{e}\mathrm{)}\}$

5. 判別得点$y$が正のとき第一群、負のとき第二群と判別される。

   変数が標準化されていれば、係数の大きさは、そのままその変数が判別に与える影響の大きさである。

   変数が定性的な場合は、ダミー変数を用いる。

   $y=\sum _{i=1}^n(a_i\mathrm{(}\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}\mathrm{)}{x}_i\mathrm{(}\mathrm{f}\mathrm{i}\mathrm{r}\mathrm{s}\mathrm{t}\mathrm{)}+a_i\mathrm{(}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}\mathrm{)}{x}_i\mathrm{(}\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{d}\mathrm{)})+a_0$

   ここに、$x_{ij}$: $x_i$の$j$番目のカテゴリーに反応するとき$1$、しないとき$0$。

二次判別分析

グループの平均を中心に回転・軸方向のスケーリングを行い共分散行列を揃え、線形判別分析を行えば良い。

混合判別分析

単一の正規分布ではなく、混合正規分布で表現した物を混合判別分析という。その場合でも共分散行列は共通の物を使う。混合正規分布を使うことにより複雑な分布も扱えるようになる。混合正規分布はEMアルゴリズムなどで求める。

関連項目

• 固有顔
• 線形分類器

テンプレート:統計学