分散共分散行列のソースを表示

'''分散共分散行列'''（ぶんさんきょうぶんさんぎょうれつ、{{lang-en-short|variance-covariance matrix}}）や'''共分散行列'''（きょうぶんさんぎょうれつ、{{lang-en-short|covariance matrix}}）とは、[[統計学]]と[[確率論]]において、[[ベクトル]]の要素間の[[共分散]]の[[行列]]である。これは、[[スカラー (数学)|スカラー]]値をとる[[確率変数]]における[[分散 (確率論)|分散]]の概念を、多次元に拡張したものである。

== 定義 ==

次のような列ベクトルを考える。

: <math>\textbf{X}= \begin{bmatrix}X_1 \\ X_2 \\ \vdots \\ X_n \end{bmatrix}</math>

このベクトルの要素が各々分散が有限である確率変数であるとき、( ''i'',&nbsp;''j'' ) の要素が次のような行列 Σ を分散共分散行列という。

:<math>
\Sigma_{ij}
=\mathrm{E}\begin{bmatrix}
(X_i - \mu_i)(X_j - \mu_j)
\end{bmatrix}
=\mathrm{E}(X_i X_j) - \mathrm{E}(X_i) \mathrm{E}(X_j)
</math>

ただし、

: <math>\mu_i = \mathrm{E}(X_i)\,</math>

は、ベクトル ''X'' の ''i'' 番目の要素の[[期待値]]である。すなわち、Σ は次のような行列である。

: <math>
\Sigma
= \begin{bmatrix}
 \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\
 \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\
 \vdots & \vdots & \ddots & \vdots \\ \\
 \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)]
\end{bmatrix}
</math>

この行列の逆行列は <math>\Sigma^{-1}</math> は、'''逆共分散行列'''（{{lang-en-short|inverse covariance matrix}}） または'''精度行列'''（{{lang-en-short|precision matrix}}） と呼ばれる<ref>[[#Wasserman|Wasserman]].</ref>。

=== 分散の一般化としてみたとき ===

上記の定義は、下記の等式と同値である。

:<math>
\Sigma=\mathrm{E}
\left[
 \left(
 \textbf{X} - \mathrm{E}[\textbf{X}]
 \right)
 \left(
 \textbf{X} - \mathrm{E}[\textbf{X}]
 \right)^\top
\right]
</math>

この形は、スカラー値における分散を高次元に拡張したものと捉えられる。
スカラー値を取る確率変数 ''X'' について、次が成り立つことに注意する。

:<math>
\sigma^2 = \mathrm{var}(X)
= \mathrm{E}[(X-\mu)^2] \ 
</math>

ただし、

: <math>\mu = \mathrm{E}(X) \ </math>
<math>\Sigma</math> が、分散共分散行列と呼ばれるのは、対角要素は分散だからである。

==名称の問題==
この行列の名前の呼び名には、いくつかの異なった流儀がある。統計学者の一部は、{{日本語版にない記事リンク|ウィリアム・フェラー|en|William Feller}}にならって、この行列が 1 次元の分散の自然な拡張であることから、この行列を確率変数のベクトル <math>X</math> の'''分散'''と呼ぶ。また、この行列がベクトル <math>X</math> のスカラー要素の共分散であることから、この行列を'''共分散行列'''と呼ぶ流儀もある。すなわち、
:<math>
\operatorname{var}(\textbf{X})
=
\operatorname{cov}(\textbf{X})
=
\mathrm{E}
\left[
 (\textbf{X} - \mathrm{E} [\textbf{X}])
 (\textbf{X} - \mathrm{E} [\textbf{X}])^\top
\right]
</math>

しかし、二つの確率変数ベクトルの間の[[共分散|相互共分散]]の標準的な記法は次のようになる。
:<math>
\operatorname{cov}(\textbf{X},\textbf{Y})
=
\mathrm{E}
\left[
 (\textbf{X} - \mathrm{E}[\textbf{X}])
 (\textbf{Y} - \mathrm{E}[\textbf{Y}])^\top
\right]
</math>

<math>\operatorname{var}</math> による記法は、フェラーの 2 巻の本 ''An Introduction to Probability Theory and Its Applications''<ref>[[#Feller1|Feller Vol.1]], [[#Feller2|Feller Vol.2]].</ref>に見ることができるが、どちらの形式もかなり標準化されていて、その間に曖昧性はない。

== 性質 ==
分散共分散行列 <math>\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]</math> について、次のような基本的な性質がある。ただし、<math> \mu = \mathrm{E}(\textbf{X})</math> とし、<math>\mathbf{X}</math>、<math>\mathbf{X}_1</math> と <math>\mathbf{X}_2</math> は確率変数の <math>p \times 1</math> ベクトル、<math>\mathbf{Y}</math> は <math>q \times 1</math> ベクトル、<math>\mathbf{a}</math> は <math>q \times 1</math> ベクトル、<math>\mathbf{A}</math> と<math>\mathbf{B}</math> は <math>q \times p</math> 行列とする。

# <math> \Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top} </math><br>
# <math> \Sigma</math> は、[[固有値#正定値と半正定値|半正定値行列]]<br>
# <math> \operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X})\, \mathbf{A^\top} </math><br>
# <math> \operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top</math><br>
# <math> \operatorname{cov}(\mathbf{X}_1 + \mathbf{X}_2,\mathbf{Y}) = \operatorname{cov}(\mathbf{X}_1,\mathbf{Y}) + \operatorname{cov}(\mathbf{X}_2, \mathbf{Y})</math><br>
# もし ''p'' = ''q'' ならば、<math>\operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})</math><br>
# <math>\operatorname{cov}(\mathbf{AX}, \mathbf{B}^\top\mathbf{Y}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{Y}) \,\mathbf{B}</math><br>
# もし <math>\mathbf{X}</math>と<math>\mathbf{Y}</math> が独立ならば、<math>\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0</math>

この共分散行列は、シンプルではあるが、非常に多岐にわたる分野でとても有用なツールである。分散共分散行列からは、データの相関を完全に失わせるような写像を作る[[変換行列]]を作ることができる。これは、違った見方をすれば、データを簡便に記述するのに最適な基底を取っていることになる。(分散共分散行列のその他の性質やその証明については、[[:en:Rayleigh quotient]]を参照)
これは、統計学では[[主成分分析]] (PCA) と呼ばれており、[[画像処理]]の分野では、{{仮リンク|カルーネン・レーベ変換|en|Karhunen–Loève theorem}} (KL-transform) と呼ばれている。

==線形作用素として==
線形作用素としてみたとき、分散共分散行列は、ベクトル '''c''' を、確率変数ベクトル '''X''' の '''c''' に関する '''c''' による線形和と確率変数 '''X''' 自身の間で取った共分散ベクトルに写像する
: <math>\mathbf c^\top\Sigma = \operatorname{cov}(\mathbf c^\top\mathbf X,\mathbf X)</math>
[[二次形式]]としてみた場合は、'''X''' に関する '''c''' と '''d''' の二つの線形和の間で取った共分散に写像すると考えればよい。
: <math>\mathbf d^\top\Sigma\mathbf c=\operatorname{cov}(\mathbf d^\top\mathbf X,\mathbf c^\top\mathbf X)</math>
ここで、'''d''' を '''c''' とすれば、'''X''' に関する '''c''' による線形和の分散となる。
: <math>\mathbf c^\top\Sigma\mathbf c</math>

==どのような行列が分散共分散行列となれるか==

すぐ上で使った次の等式と、

:<math>\operatorname{var}(\mathbf{a^\top}\mathbf{X}) = \mathbf{a^\top} \operatorname{var}(\mathbf{X}) \mathbf{a}\,</math>

実数値を取る確率変数の分散は非負であるということから、すぐに[[行列の定値性|半正定値]]行列だけが分散共分散行列になることができるということがわかる。さらに、任意の半正定値行列は分散共分散行列とみなすことができる。これを示すには、次のようにする。まず、'''''M''''' を ''p'' &times; ''p'' の半正定値[[対称行列]]とする。有限次元の[[スペクトル理論]]より、'''''M''''' は半正定値対称平方根行列 '''''M'''''<sup>1/2</sup> を持つ。'''X''' を任意の ''p'' &times; 1 の確率変数の列ベクトルとし、その分散共分散行列が ''p'' &times; ''p'' の[[恒等行列]]だとする。すると

:<math>\operatorname{var}(M^{1/2}\mathbf{X}) = M^{1/2} (\operatorname{var}(\mathbf{X})) M^{1/2} = M.\,</math>

==複素数の確率変数ベクトル==
[[複素数]]のスカラー値を取る期待値μの確率変数の分散は、便宜的に、以下のように共役複素数を用いて定義される。

:<math>
\operatorname{var}(z)
=
\operatorname{E}
\left[
 (z-\mu)(z-\mu)^{*}
\right]
</math>

ただし、<math>z^{*}</math> は <math>z</math> の共役複素数。

<math>Z</math> が複素数の確率変数の列ベクトルであるときは、[[随伴行列|共役転置]]（転置して共役を取ったもの）を用いることで、次の正方行列を得る。

:<math>
\operatorname{E}
\left[
 (Z-\mu)(Z-\mu)^{*}
\right]
</math>

ただし、<math>Z^{*}</math> は共役転置。スカラーの転置をとってもやはりスカラーなので、スカラーの場合の議論は、この形の特殊な場合とみなせる。

==推定==
[[正規分布|多次元正規分布]]の分散共分散行列の最尤推定量の導出は、驚くほど巧妙である。
[[:en:estimation of covariance matrices]]を参照。

==確率密度関数==

<math>n</math> 個の相関のある確率変数の確率密度関数、特に ''n'' 次の[[正規分布|ガウス分布]]に従う確率変数ベクトルの同時確率については、[[最尤法]]を参照。

== 関連項目 ==
*[[多変量解析]]
*[[対称行列]]
*[[分散 (確率論)]]
*[[共分散]]

== 出典 ==
<references/>

== 参考文献 ==
* {{MathWorld|urlname=CovarianceMatrix|title= Covariance Matrix}}
* {{cite book 
| author=Larry Wasserman 
| title=All of Statistics: A Concise Course in Statistical Inference 
| edition=1st Corrected
| year=2004
| publisher=Springer
| isbn=978-0387402727
| ref=Wasserman}}
* {{cite book
| author=N.G. van Kampen
| title=Stochastic processes in physics and chemistry
| edition=3rd
| publisher= New York: North-Holland 
| year=2007
| isbn=978-0444529657
| ref=vanKampen}}
* {{Cite book
|author=William Feller
|title=An Introduction to Probability Theory and Its Applications
|publisher=WILEY
|volume=1
|edition=3rd
|year=1968
|isbn=978-0471257080
|ref=Feller1
}}
* {{Cite book
|author=William Feller
|title=An Introduction to Probability Theory and Its Applications
|publisher= WILEY
|volume= 2
|edition= 2nd
|year=1971
|isbn= 978-0471257097
|ref=Feller2
}}
** {{Cite book|和書
|author=ウィリアム・フェラー
|others=河田 龍夫（監訳）、卜部 舜一（翻訳）
|title=確率論とその応用
|volume=I 上
|year=1960
|publisher=[[紀伊國屋書店]]
|isbn=978-4314000123
|ref=Feller1jp1}}
** {{Cite book|和書
|author=ウィリアム・フェラー
|others=河田 龍夫（監訳）、卜部 舜一（翻訳）
|title=確率論とその応用
|volume=I 下
|year=1961
|publisher=紀伊國屋書店
|isbn=978-4314000161
|ref=Feller1jp2}}
** {{Cite book|和書
|author=ウィリアム・フェラー
|others=国沢 清典（監訳）、羽鳥 裕久（翻訳）、大平 坦（翻訳）
|title=確率論とその応用
|volume=II 上
|year=1969
|publisher=紀伊國屋書店
|isbn=978-4314000550
|ref=Feller2jp1}}
** {{Cite book|和書
|author=ウィリアム・フェラー
|others=国沢 清典（監訳）、羽鳥 裕久（翻訳）、大平 坦（翻訳）
|title=確率論とその応用
|volume=II 下
|year=1970
|publisher=紀伊國屋書店
|isbn=978-4314000604
|ref=Feller2jp2}}

{{統計学}}
{{DEFAULTSORT:ふんさんきようふんさんきようれつ}}
[[Category:データ分析]]
[[Category:確率論]]
[[Category:行列]]
[[Category:数学に関する記事]]