フィッシャー情報量

フィッシャー情報量（フィッシャーじょうほうりょう、テンプレート:Lang-en-short） ${ℐ}_X(\theta )$は、統計学や情報理論で登場する量で、確率変数$X$が母数$\theta$に関して持つ「情報」の量を表す。統計学者のロナルド・フィッシャーに因んで名付けられた。

定義

$\theta$を母数とし、$X$を確率密度関数が$f(x|\theta )$で表される確率変数とする。 このとき、$\theta$の尤度関数$L(\theta |x)$は

$L(\theta |x)=f(x|\theta )$

で定義され、スコア関数は対数尤度関数の微分

$V(x;\theta )=\frac{\partial }{\partial \theta }\ln L(\theta |x)$

により定義される。このとき、フィッシャー情報量${ℐ}_X(\theta )$はスコア関数の2次のモーメント

$\begin{array}{cc}{ℐ}_X(\theta )& =\mathrm{E}[V(x;\theta {)}^2|\theta ]\\ & =\mathrm{E}\left[(\frac{\partial }{\partial \theta }\ln L(\theta |x){)}^2|\theta \right]\end{array}$

により定義される。紛れがなければ添え字の$X$を省略し、$ℐ(\theta )$とも表記する。なお、$X$に関しては期待値が取られている為、フィッシャー情報量は$X$の従う確率密度関数$f(x|\theta )$のみに依存して決まる。よって$X$と$Y$が同じ確率密度関数を持てば、それらのフィッシャー情報量は同一である。

スコア関数は

$\mathrm{E}[V(x;\theta )|\theta ]=0$

を満たす事が知られているので、

${ℐ}_X(\theta )=\mathrm{v}\mathrm{a}\mathrm{r}(V(x;\theta ))$

が成立する。ここで $\mathrm{v}\mathrm{a}\mathrm{r}$ は分散を表す。

また$\ln f(x|\theta )$が二回微分可能で以下の標準化条件

$\int \frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )dx=0,$

を満たすなら、フィッシャー情報量は以下のように書き換えることができる。

$ℐ(\theta )=-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(X;\theta )].$

このとき、フィッシャー情報量は、$f$ の対数の$\theta$についての2次の導関数にマイナスを付けたものになる。フィッシャー情報量は、$\theta$についての最尤推定量付近のサポート曲線の「鋭さ」としてもとらえることができる。例えば、「鈍い」（つまり、浅い最大値を持つ）サポート曲線は、2次の導関数として小さな値を持つため、フィッシャー情報量としても小さな値を持つことになるし、鋭いサポート曲線は、2次導関数として大きな値を持つため、フィッシャー情報量も大きな値になる。

フィッシャー情報行列

パラメータがN個の場合、つまり、$\mathit{\theta }$ がN次のベクトル$\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_N{)}^T$であるとき、フィッシャー情報量は、以下で定義されるNxN 行列に拡張される。

$ℐ(\mathit{\theta })=\mathrm{E}[\frac{\partial }{\partial \mathit{\theta }}\ln f(X;\theta )\frac{\partial }{\partial {\mathit{\theta }}^T}\ln f(X;\theta )].$

これを、フィッシャー情報行列(FIM, Fisher information matrix)と呼ぶ。成分表示すれば、以下のようになる。

${\left(ℐ\left(\theta \right)\right)}_{i,j}=\mathrm{E}[\frac{\partial }{\partial {\theta }_i}\ln f(X;\theta )\frac{\partial }{\partial {\theta }_j}\ln f(X;\theta )].$

フィッシャー情報行列は、NxN の正定値対称行列であり、その成分は、N次のパラメータ空間からなるフィッシャー情報距離を定義する。

$p$個のパラメータによる尤度があるとき、フィッシャー情報行列のi番目の行と、j番目の列の要素がゼロであるなら、2つのパラメータ、${\theta }_i$と${\theta }_j$は直交である。パラメータが直交であるとき、最尤推定量が独立になり、別々に計算することができるため、扱いやすくなる。このため、研究者が何らかの研究上の問題を扱うとき、その問題に関わる確率密度が直交になるようにパラメーター化する方法を探すのに一定の時間を費やすのが普通である。

基本的性質

フィッシャー情報量は

$0\le ℐ(\theta )<\mathrm{\infty }$

を満たす。

また$X$，$Y$が独立な確率変数であれば、

${ℐ}_{X,Y}(\theta )={ℐ}_X(\theta )+{ℐ}_Y(\theta )$　(フィッシャー情報量の加算性）

が成立する。すなわち、「$(X,Y)$が$\theta$に関して持つ情報の量」は 「$X$が$\theta$に関して持つ情報の量」と 「$Y$が$\theta$に関して持つ情報の量」の和である。

よって特に、無作為に取られたn個の標本が持つフィッシャー情報量は、1つの標本が持つフィッシャー情報量のn倍である（観察が独立である場合）。

Cramér–Raoの不等式

$\theta$の任意の不偏推定量$\hat{\theta }$は以下のCramér–Rao(クラメール-ラオ)の不等式を満たす：

$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta })\ge \frac{1}{ℐ(\theta )}$

この不等式の直観的意味を説明する為、両辺の逆数を取った上で確率変数$X$への依存関係を明示すると、

${ℐ}_X(\theta )\ge \frac{1}{\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta }(X))}$

となる。一般に推定量はその分散が小さいほど(よって分散の逆数が大きいほど)母数$\theta$に近い値を出しやすいので、「よい」推定量であると言える。$\theta$を「推定する」という行為は、「よい」推定量$\hat{\theta }(X)$を使って$\theta$を可能な限り復元する行為に他ならないが、上の不等式は$X$から算出されたどんな不偏推定量であっても$X$が元々持っている「情報」以上に「よい」推定量にはなりえない事を意味する。

十分統計量との関係

一般に$T=t(X)$が統計量であるならば、

${ℐ}_T(\theta )\le {ℐ}_X(\theta )$

が成立する。すなわち、「$X$から計算される値$T=t(X)$が持っている$\theta$の情報」は「$X$自身が持っている$\theta$の情報」よりも大きくない。

上式で等号成立する必要十分条件は$T$が十分統計量であること。 これは$T(X)$が $\theta$に対して十分統計量であるならば、ある関数$f$および$g$が存在して

$f(X;\theta )=g(T(X),\theta )h(X)$

が成り立つ（ネイマン分解基準）事を使って証明できる。

カルバック・ライブラー情報量との関係

$X_{\theta }$を母数$\overrightarrow{\theta }=({\theta }_1,\dots ,{\theta }_n)$を持つ確率変数とすると、カルバック・ライブラー情報量 $D_{\mathrm{K}\mathrm{L}}$とフィッシャー情報行列は以下の関係が成り立つ。

$D_{\mathrm{K}\mathrm{L}}(X_{\overrightarrow{\theta }+\overrightarrow{h}}\Vert X_{\overrightarrow{\theta }})=\frac{{}^t\overrightarrow{h}\cdot ℐ(\overrightarrow{\theta })\cdot \overrightarrow{h}}{2}+o(|\overrightarrow{h}{|}^2)$

すなわちフィッシャー情報行列はカルバック・ライブラー情報量をテイラー展開したときの2次の項として登場する。（0次、1次の項は0）。

具体例

ベルヌーイ分布

ベルヌーイ分布は、確率θ でもたらされる「成功」と、それ以外の場合に起きる「失敗」という2つの結果をもたらす確率変数が従う分布である（ベルヌーイ試行）。例えば、表が出る確率がθ、裏が出る確率が1 - θであるような、コインの投げ上げを考えれば良い。

n回の独立なベルヌーイ試行が含むフィッシャー情報量は、以下のようにして求められる。なお、以下の式中で、A は成功の回数、B は失敗の回数、n =A +B は試行の合計回数を示している。対数尤度関数の2階導関数は、

$\begin{array}{cc}\frac{{\partial }^2}{\partial {\theta }^2}\ln f(A;\theta )& =\frac{{\partial }^2}{\partial {\theta }^2}\ln [{\theta }^A(1-\theta {)}^B\frac{(A+B)!}{A!B!}]\\ & =\frac{{\partial }^2}{\partial {\theta }^2}[A\ln (\theta )+B\ln (1-\theta )]\\ & =-\frac{A}{{\theta }^2}-\frac{B}{(1-\theta {)}^2}\end{array}$

であるから、

$\begin{array}{cc}ℐ(\theta )& =-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln (f(A;\theta ))]\\ & =\frac{n\theta }{{\theta }^2}+\frac{n(1-\theta )}{(1-\theta {)}^2}\end{array}$

となる。但し、Aの期待値はn θ、B の期待値はn (1-θ )であることを用いた 。

つまり、最終的な結果は、

$ℐ(\theta )=\frac{n}{\theta (1-\theta )},$

である。これは、n回のベルヌーイ試行の成功数の平均の分散の逆数に等しい。

ガンマ分布

形状パラメータα、尺度パラメータβのガンマ分布において、フィッシャー情報行列は

$ℐ(\alpha ,\beta )=\left(\begin{array}{cc}{\psi }^{\prime }(\alpha )& \frac{1}{\beta }\\ \frac{1}{\beta }& \frac{\alpha }{{\beta }^2}\end{array}\right)$

で与えられる。但し、ψ(α)はディガンマ関数を表す。

正規分布

平均μ、分散σ²の正規分布N(μ, σ²)において、フィッシャー情報行列は

$ℐ(\mu ,{\sigma }^2)=\left(\begin{array}{cc}\frac{1}{{\sigma }^2}& 0\\ 0& \frac{1}{2({\sigma }^2{)}^2}\end{array}\right)$

で与えられる。

多変量正規分布

N個の変数の多変量正規分布についてのフィッシャー情報行列は、特別な形式を持つ。

$\mu (\theta )=\left(\begin{array}{c}{\mu }_1(\theta ),{\mu }_2(\theta ),\cdots ,{\mu }_N(\theta )\end{array}\right),$

であるとし、$\mathrm{\Sigma }(\theta )$が$\mu (\theta )$の共分散行列であるとするなら、

$X$～$N(\mu (\theta ),\mathrm{\Sigma }(\theta ))$のフィッシャー情報行列、${ℐ}_{m,n}(0\le ;m,n<N)$の成分は以下の式で与えられる。

${ℐ}_{m,n}=\frac{\partial \mu }{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial {\mu }^{\mathrm{\top }}}{\partial {\theta }_n}+\frac{1}{2}\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_n}\right),$

ここで、$(..{)}^{\mathrm{\top }}$はベクトルの転置を示す記号であり、$\mathrm{t}\mathrm{r}(..)$は、平方行列のトレースを表す記号である。また、微分は以下のように定義される。

$\frac{\partial \mu }{\partial {\theta }_m}=\left(\begin{array}{cccc}\frac{\partial {\mu }_1}{\partial {\theta }_m},& \frac{\partial {\mu }_2}{\partial {\theta }_m},& \cdots ,& \frac{\partial {\mu }_N}{\partial {\theta }_m}\end{array}\right)$

$\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}=\left(\begin{array}{cccc}\frac{\partial {\mathrm{\Sigma }}_{1,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{1,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{1,N}}{\partial {\theta }_m}\\ \\ \frac{\partial {\mathrm{\Sigma }}_{2,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{2,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{2,N}}{\partial {\theta }_m}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \frac{\partial {\mathrm{\Sigma }}_{N,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{N,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{N,N}}{\partial {\theta }_m}\end{array}\right).$

関連項目

• 情報理論
• 測度
• 情報量
• 情報エントロピー