クラメール・ラオの限界

テンプレート:仮リンク・統計学におけるクラメール・ラオの限界(CRB)（クラメールラオのげんかい、テンプレート:Lang-en-short）（クラメール・ラオの下限(CRLB)、クラメール・ラオの不等式、Frechet–Darmois–Cramér–Rao 不等式、情報不等式とも）とは、ある確率分布の未知母数を推定する不偏推定量には、その分散についてある下限値が存在することを示すものである。名称は、1940年代にそれぞれ独立に推定精度に関する限界を見出した、ハラルド・クラメール、カリャンプディ・ラダクリシュナ・ラオ、モーリス・ルネ・フレシェ、テンプレート:仮リンクにちなむ。

最も単純に述べると、『任意の不偏推定量の分散は、 そのフィッシャー情報量の逆数以上になる』というものである。不偏な推定量がこの下限を達成するとき、その推定量は（完全な）テンプレート:仮リンクであるという。この場合、その推定量はあらゆる不偏推定量の中で平均二乗誤差が最小のものとなるため、必然的にテンプレート:仮リンク（MVU推定量）にもなる。

しかしながら、どんな不偏推定量を考えても分散が決してクラメール・ラオの下限に到達できないようなケースもある（MVU推定量が存在するときでもこれは起こりえる）。

クラメール・ラオの限界には、不偏でない推定量に対するバージョンもある。不偏性の条件を取り除くことで、推定量の分散・平均二乗誤差が、不偏の場合のクラメール・ラオの下限を「下回る」ようなケースも存在する。テンプレート:仮リンクも参照。

主張

ここでは、母数が1つ・推定量が不偏である場合から始めて、いくつかのかなり一般的な場合へと拡張していく。どのバージョンでもある種の正規性の仮定をおくが、それはほとんどの「普通のふるまいをする」確率分布については成り立つものである。この条件については後述する。

母数が1つで推定量が不偏の場合

何らかの確率密度関数 $f(x;\theta )$ に従って分布する量 $x$ の観測値から、未知母数 $\theta$ を推定することを考える。このとき、 $\theta$ に対する任意の不偏な推定量 $\hat{\theta }$ の分散は、フィッシャー情報量 $I(\theta )$ の逆数以上になる：

$\mathrm{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}$

フィッシャー情報量 $I(\theta )$ は

$I(\theta )=\mathrm{E}\left[{\left(\frac{\partial \ell (X;\theta )}{\partial \theta }\right)}^2\right]$

と定義される。ここで、 $\ell (x;\theta )=\ln (f(x;\theta ))$ は尤度の自然対数をとったもの（なお $\frac{\partial \ell (x;\theta )}{\partial \theta }$ をテンプレート:仮リンクという）で、 $\mathrm{E}$ は平均を表す。

不偏推定量 $\hat{\theta }$ の有効度は、推定量の分散がこの下限にどの程度接近しているかを測る指標で、次のように定義される。

$e(\hat{\theta })=\frac{I(\theta {)}^{-1}}{\mathrm{Var}(\hat{\theta })}$

不偏推定量の分散の下限値を、実際の分散で割った値、ともいえる。クラメール・ラオの下限より $e(\hat{\theta })\le 1$ となる。

母数が1つで、母数の関数の値を推定する場合

より一般に、確率変数 $X$ の関数 $T(X)$ を用いて、母数の関数 $\psi (\theta )$ を推定することを考える。$\mathrm{E}[T(X)]=\psi (\theta )$ であるとする。このときの分散の下限は、

$\mathrm{Var}(T)\ge \frac{[{\psi }^{\prime }(\theta ){]}^2}{I(\theta )}$

ここで ${\psi }^{\prime }(\theta )$ は $\psi (\theta )$ の $\theta$ による微分、 $I(\theta )$ はフィッシャー情報量である。

母数が1つで推定量が不偏とは限らない場合

母数 $\theta$ の推定量 $\hat{\theta }$ に $b(\theta )=\mathrm{E}[\hat{\theta }]-\theta$ だけの偏りがあるとする。

$\psi (\theta )=b(\theta )+\theta$ と置いて前項の結果を使うと、

$\mathrm{Var}(\hat{\theta })\ge \frac{[1+b^{\prime }(\theta ){]}^2}{I(\theta )}$

不偏のときの不等式は、 $b(\theta )=0$ とした特別な場合である。

分散を小さくすることだけを考えるなら、定数関数となる「推定量」をとれば、分散はゼロである。しかし上記の式から、推定量の平均二乗誤差には

$\mathrm{E}[(\hat{\theta }-\theta {)}^2]\ge \frac{[1+b^{\prime }(\theta ){]}^2}{I(\theta )}+b(\theta {)}^2$

という下限が存在することになる。ここで、平均二乗誤差の標準的な分解式

$\mathrm{MSE}(\hat{\theta }):=\mathrm{E}[(\hat{\theta }-\theta {)}^2]=\mathrm{E}\left[{(\hat{\theta }-\mathrm{E}[\hat{\theta }])}^2\right]+{(\mathrm{E}[\hat{\theta }]-\theta )}^2$

を用いた。

注意：もし $1+b^{\prime }(\theta )<1$ であれば、不偏のときのクラメール・ラオの下限 $1/I(\theta )$ を下回ることもある。例えば、後述する例では、 $1+b^{\prime }(\theta )=\frac{n}{n+2}<1$ となる。

母数が複数（ベクトル値）の場合

クラメール・ラオの限界を、母数が複数の場合にも拡張しよう。母数ベクトルを

$\mathit{\theta }={({\theta }_1,{\theta }_2,\dots ,{\theta }_d)}^T\in {ℝ}^d$

とし（右肩の T は転置を表す（以下同じ））、それによって決まる確率密度関数 $f(x;\mathit{\theta })$ を考える。$f$ は後述の正規性の条件をみたすものとする。 フィッシャー情報行列は、 $d\times d$ 行列で、その成分 $I_{m,k}$ が

$\begin{array}{cc}{I}_{m,k}& =\mathrm{E}[\frac{\partial }{\partial {\theta }_m}\ln f(x;\mathit{\theta })\frac{\partial }{\partial {\theta }_k}\ln f(x;\mathit{\theta })]\\ & =-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }_m\partial {\theta }_k}\ln f(x;\mathit{\theta })]\end{array}$

で定まる行列のことである。 $𝑻(X)$ を、母数ベクトルの任意の推定量としよう： $𝑻(X)=(T_1(X),\dots ,T_d(X){)}^T$。ここで、各成分の平均を並べた平均ベクトル $\mathrm{E}[𝑻(X)]$ を $\mathit{\psi }(\mathit{\theta })$ と記す。

このとき、 $𝑻(X)$ の分散共分散行列に対するクラメール・ラオの限界は、

$\mathrm{Cov}(𝑻(X))\ge \frac{\partial \mathit{\psi }\left(\mathit{\theta }\right)}{\partial \mathit{\theta }}{([I\left(\mathit{\theta }\right){]}^{-1}\frac{\partial \mathit{\psi }\left(\mathit{\theta }\right)}{\partial \mathit{\theta }})}^T$

となる。ここで、

• 行列に対する不等式 $A\ge B$ は、行列の差 $A-B$ が非負定値であるということである。
• $\partial \mathit{\psi }(\mathit{\theta })/\partial \mathit{\theta }$ はヤコビ行列（ $ij$ 成分が $\partial {\psi }_i(\mathit{\theta })/\partial {\theta }_j$ ）である。

もし $𝑻(X)$ が $\mathit{\theta }$ の不偏推定量であれば（つまり $\mathit{\psi }\left(\mathit{\theta }\right)=\mathit{\theta }$ であれば）クラメール・ラオの限界は

$\mathrm{Cov}(𝑻(X))\ge I{\left(\mathit{\theta }\right)}^{-1}$

のようになる。フィッシャー情報行列の逆行列を計算するのが面倒な場合は、単に対応する対角成分の逆数をとることで、（より緩いかもしれないが）1つの下限が得られる。

$\mathrm{Var}(T_m(X))={[\mathrm{Cov}(𝑻(X))]}_{mm}\ge {\left[I{\left(\mathit{\theta }\right)}^{-1}\right]}_{mm}\ge {\left({\left[I\left(\mathit{\theta }\right)\right]}_{mm}\right)}^{-1}$

正規性の条件

クラメール・ラオの不等式が成り立つための確率密度関数 $f(x;\theta )$ と推定量 $T(X)$ に関する2つの弱い十分条件は、次のとおりである:

• フィッシャー情報量が常に定義されていること。言い換えると、次式を $x$ で積分した値が有限値として存在すること。

$\frac{\partial }{\partial \theta }\ln f(x;\theta )$

• $T$ の期待値について、 $x$ についての積分と、 $\theta$ についての偏微分が交換可能である、つまり

$\frac{\partial }{\partial \theta }[\underset{ℝ}{\int }T(x)f(x;\theta )dx]=\underset{ℝ}{\int }T(x)[\frac{\partial }{\partial \theta }f(x;\theta )]dx$

が、右辺が存在する限り成り立つこと。

この条件は、以下のいずれかの場合が成り立つことをもって確認されることが多い：

1. 関数 $f(x;\theta )$ は、 $\theta$ に依らない有界な関数の台（非ゼロとなる定義域）を持つ。
2. $\theta$ に依らない可積分関数 $g(x)$ が存在して $|T(x)\frac{\partial }{\partial \theta }f(x;\theta )|$ を上から抑える。つまり、

$|T(x)\frac{\partial }{\partial \theta }f(x;\theta )|\le g(x)(\mathrm{\forall }x,\mathrm{\forall }\theta ),\underset{ℝ}{\int }g(x)dx<\mathrm{\infty }$

フィッシャー情報量の変形

$f(x;\theta )$ が $\theta$ で2階偏微分可能であるとすると、フィッシャー情報量は

$\begin{array}{cc}I(\theta )& =\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\ln f(X;\theta ))}^2\right]\\ & =\underset{ℝ}{\int }f(x;\theta )\frac{1}{{(f(x;\theta ))}^2}{\left(\frac{\partial f(x;\theta )}{\partial \theta }\right)}^{2}dx\\ & =-\underset{ℝ}{\int }f(x;\theta )\frac{f(x;\theta )\frac{\partial f(x;\theta )}{\partial \theta }-{\left(\frac{\partial f(x;\theta )}{\partial \theta }\right)}^2}{{(f(x;\theta ))}^2}dx\\ & =-\underset{ℝ}{\int }f(x;\theta )(\frac{{\partial }^2}{\partial {\theta }^2}\ln f(x;\theta ))dx\\ & =-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(X;\theta )]\end{array}$

（3番目の等号の箇所で

$\underset{ℝ}{\int }\frac{\partial f(x;\theta )}{\partial \theta }dx=\frac{\partial }{\partial \theta }\underset{ℝ}{\int }f(x;\theta )dx=\frac{\partial }{\partial \theta }(1)=0$

であることを用いた）

と変形でき、クラメール・ラオの不等式は次のようにも書ける。

$\mathrm{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}=\frac{1}{-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(X;\theta )]}$

こちらの公式の方が下限を評価するのにより有用な場合がある。

母数が1つの場合の証明

母数が1つの場合のクラメール・ラオの不等式を一般的に証明する。

$X$ を、確率密度関数が $f(x;\theta )$ となる確率分布に従う確率変数とし、$T=t(X)$ は $X$ の関数で、母数 $\theta$ の関数である $\psi (\theta )$ の不偏推定量であるとする。つまり、 $\mathrm{E}\left[T\right]=\psi (\theta )$。

目標は、任意の $\theta$ に対して

$\mathrm{Var}(t(X))\ge \frac{[{\psi }^{\prime }(\theta ){]}^2}{I(\theta )}$

を示すことである。

$V$ を次のように定義する（これはスコア関数である）：

$V=\frac{\partial }{\partial \theta }\ln f(X;\theta )=\frac{1}{f(X;\theta )}\frac{\partial }{\partial \theta }f(X;\theta )$

ここで連鎖律を使った。$V$ の期待値はゼロである。なぜなら：

$\begin{array}{cc}\mathrm{E}\left[V\right]& =\underset{ℝ}{\int }f(x;\theta )[\frac{1}{f(x;\theta )}\frac{\partial }{\partial \theta }f(x;\theta )]dx\\ & =\frac{\partial }{\partial \theta }\underset{ℝ}{\int }f(x;\theta )dx=\frac{\partial }{\partial \theta }(1)=0\end{array}$

ここで積分と偏微分の順序が交換可能であること（正規性の条件の2番目）を使った。

$V$ と $T$ の共分散 $\mathrm{Cov}(V,T)$ は、 $\mathrm{E}\left[V\right]=0$ だから $\mathrm{Cov}(V,T)=\mathrm{E}\left[VT\right]$、よって次式を得る。

$\begin{array}{cc}\mathrm{Cov}(V,T)& =\mathrm{E}[T\cdot \{\frac{1}{f(X;\theta )}\frac{\partial }{\partial \theta }f(X;\theta )\}]\\ & =\underset{ℝ}{\int }t(x)[\frac{1}{f(x;\theta )}\frac{\partial }{\partial \theta }f(x;\theta )]f(x;\theta )dx\\ & =\frac{\partial }{\partial \theta }[\underset{ℝ}{\int }t(x)f(x;\theta )dx]=\frac{\partial }{\partial \theta }\mathrm{E}\left[T\right]={\psi }^{\prime }(\theta )\end{array}$

ここで再び、積分と微分が交換可能であるという条件（正規性の条件の2番目）を使った。

コーシー・シュワルツの不等式から、

$\sqrt{\mathrm{Var}(T)\mathrm{Var}(V)}\ge |\mathrm{Cov}(V,T)|=|{\psi }^{\prime }(\theta )|$

よって

$\mathrm{Var}(T)\ge \frac{[{\psi }^{\prime }(\theta ){]}^2}{\mathrm{Var}(V)}=\frac{[{\psi }^{\prime }(\theta ){]}^2}{I(\theta )}$

これが示したかったことである。

観測を繰り返し行うときの注意

確率変数列 $X_1,X_2,\cdots ,X_n$ を使って推定を行う場合について、未知母数が1つ（$\theta$）のときに絞って概要を述べる。$𝑿:=(X_1,X_2,\cdots ,X_n)$ と書くことにする。

• 尤度関数は、結合確率密度関数 $f_n(x_1,x_2,\cdots ,x_n;\theta )=f_n(𝒙;\theta )$ で与えられる（標本の値 $𝒙$ が代入されたとして $\theta$ の関数とみなしている）。
• スコア関数は、尤度関数の自然対数をとってから $\theta$ で偏微分したものである。

$\frac{\partial }{\partial \theta }\ln f_n(𝒙;\theta )$

これらはいずれも実数値関数であるので、

• フィッシャー情報量も実数値であり、

$I(\theta )=\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\ln f_n(𝑿;\theta ))}^2\right]$

となる。

本記事でここまでに述べた事柄は、次の置き換えをすれば基本的に全て同じ形式で成り立つ。

$X\to 𝑿,x\to 𝒙,\underset{ℝ}{\int }(\cdots )dx\to \underset{{ℝ}^n}{\int }(\cdots )d𝒙$

特に、確率変数列 $𝑿=(X_1,X_2,\cdots ,X_n)$ が独立同分布で、その確率密度関数が $f(x;\theta )$ であるとすると、

• 尤度関数は $f_n(𝒙;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$
• スコア関数は $\frac{\partial }{\partial \theta }\ln f_n(𝒙;\theta )=\sum _{i=1}^n(\frac{\partial }{\partial \theta }\ln f(x_i;\theta ))$
• フィッシャー情報量は

$\begin{array}{cc}I(\theta )& =-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln f_n(𝑿;\theta )]\\ & =-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\sum _{i=1}^n\{\ln f(X_i;\theta )\}]\\ & =-\sum _{i=1}^n(\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\{\ln f(X;\theta )\}])\\ & =-n\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln f(X;\theta )]\end{array}$

となる。

例

多変量正規分布

平均値ベクトル $\mathit{\mu }(\mathit{\theta })$、分散共分散行列 $𝑪(\mathit{\theta })$ が未知母数ベクトル $\mathit{\theta }$ で定まるような、一般的な d 次元正規分布 $N_d(\mathit{\mu }(\mathit{\theta }),𝑪(\mathit{\theta }))$ の場合、

フィッシャー情報行列の成分は、

$I_{m,k}=\frac{\partial {\mathit{\mu }}^T}{\partial {\theta }_m}{𝑪}^{-1}\frac{\partial \mathit{\mu }}{\partial {\theta }_k}+\frac{1}{2}\mathrm{tr}\left({𝑪}^{-1}\frac{\partial 𝑪}{\partial {\theta }_m}{𝑪}^{-1}\frac{\partial 𝑪}{\partial {\theta }_k}\right)$

ここで "tr" は行列のトレースを表す。

より簡単な例として、平均 $\theta$ が未知で分散 ${\sigma }^2$ が既知の正規分布から、独立に $d$ 回抽出してえられる標本量ベクトルを ${𝐖}_d$ とする。

${𝐖}_d\sim N_d(\theta 1,{\sigma }^2𝑰)$

ここで $1$ は 1 を d 個並べたベクトル、$𝑰$ は d 次単位行列である。未知母数が1つなのでフィッシャー情報量は

$I(\theta )={\left(\frac{\partial \mathit{\mu }(\theta )}{\partial \theta }\right)}^T{𝑪}^{-1}\left(\frac{\partial \mathit{\mu }(\theta )}{\partial \theta }\right)=\sum _{i=1}^d\frac{1}{{\sigma }^2}=\frac{d}{{\sigma }^2}$

とスカラーで与えられ、クラメール・ラオの下限は

$\mathrm{Var}(\hat{\theta })\ge \frac{{\sigma }^2}{d}$

平均が既知の正規分布の場合

$X,\{X_i{\}}_i$ を、平均 $\mu$ が既知、分散 ${\sigma }^2$ が未知の正規分布に従う独立な確率変数（列）だとする。次のような統計量を考えよう：

$T=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{n}$

このとき $\mathrm{E}\left[T\right]={\sigma }^2$ より、 $T$ は ${\sigma }^2$ の不偏推定量になる。

• $T$ の分散は、

$\mathrm{Var}(T)=\frac{\mathrm{Var}(X-\mu {)}^2}{n}=\frac{1}{n}[\mathrm{E}[(X-\mu {)}^4]-{(\mathrm{E}[(X-\mu {)}^2])}^2]$

（2番目の等号は分散の定義）。第1項は正規分布の4次の中心モーメントであり、 $3({\sigma }^2{)}^2$ に等しい。第2項は分散の2乗、つまり $({\sigma }^2{)}^2$ である。よって

$\mathrm{Var}(T)=\frac{2({\sigma }^2{)}^2}{n}$

• 一方フィッシャー情報量については、まず、観測1回あたりのスコア関数 $V$ が尤度関数 $L$ から次のように計算できる。

$\begin{array}{cc}V& =\frac{\partial }{\partial ({\sigma }^2)}\ln L({\sigma }^2,X)\\ & =\frac{\partial }{\partial ({\sigma }^2)}\ln \left[\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-(X-\mu {)}^2/2{\sigma }^2}\right]=\frac{(X-\mu {)}^2}{2({\sigma }^2{)}^2}-\frac{1}{2{\sigma }^2}\end{array}$

最後の等号は簡単な計算でわかる。この情報量は、 $V$ をもう一度偏微分してから平均をとり、マイナス1倍したものに等しい。

$\begin{array}{cc}I& =-\mathrm{E}\left[\frac{\partial V}{\partial ({\sigma }^2)}\right]=-\mathrm{E}[-\frac{(X-\mu {)}^2}{({\sigma }^2{)}^3}+\frac{1}{2({\sigma }^2{)}^2}]\\ & =\frac{{\sigma }^2}{({\sigma }^2{)}^3}-\frac{1}{2({\sigma }^2{)}^2}=\frac{1}{2({\sigma }^2{)}^2}\end{array}$

$n$ 回の独立な観測の情報量は、これを単純に $n$ 倍したものになり、

$I_n=\frac{n}{2({\sigma }^2{)}^2}$

クラメール・ラオの不等式は $\mathrm{Var}(T)\ge \frac{1}{I_n}$ だが、この場合は等号が成り立っているため、推定量がテンプレート:仮リンクであることがわかる。

不偏でない推定量を用いれば、分散及び平均二乗誤差をより小さくすることもできる。例えば $T_b=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{n+2}$ とすれば、分散は明らかにより小さくなる。実際

$\mathrm{Var}(T_b)=\frac{2n({\sigma }^2{)}^2}{(n+2{)}^2}<\mathrm{Var}(T)$

ここで偏りは $-b({\sigma }^2)={\sigma }^2-\mathrm{E}[T_b]=(1-\frac{n}{n+2}){\sigma }^2=\frac{2{\sigma }^2}{n+2}$ であり、平均二乗誤差は、『（平均二乗誤差(MSE)）＝（分散）＋（偏りの2乗）』の分解式から

$\mathrm{MSE}(T_b)=(\frac{2n}{(n+2{)}^2}+\frac{4}{(n+2{)}^2})({\sigma }^2{)}^2=\frac{2({\sigma }^4)}{n+2}$

となる。こちらも不偏推定量のときの

$\mathrm{MSE}(T)=(\frac{2({\sigma }^2{)}^2}{n}+0)({\sigma }^2{)}^2=\frac{2({\sigma }^4)}{n}$

を下回っている。

正規母集団の平均も分散も未知の場合、分散の推定量の平均二乗誤差が最小になるのは、$\bar{X}=\frac{1}{n}\sum _{i=1}^n(X_i)$ を平均の推定量として

$T_{n+1}=\frac{1}{n+1}\sum _{i=1}^n{(X_i-\bar{X})}^2$

のときである（分母が n − 1 や n + 2 のときではない）。

関連項目

• テンプレート:仮リンク
• テンプレート:仮リンク
• テンプレート:仮リンク

参考文献

• テンプレート:Cite book
• テンプレート:Cite book. Chapter 3.
• テンプレート:Cite book. Section 3.1.3.