クラメール・ラオの限界のソースを表示

{{仮リンク|推定理論|en|Estimation theory}}・[[統計学]]における'''クラメール・ラオの限界(CRB)'''（クラメールラオのげんかい、{{Lang-en-short|Cramér–Rao bound}}）（'''クラメール・ラオの下限(CRLB)'''、'''クラメール・ラオの不等式'''、'''Frechet–Darmois–Cramér–Rao 不等式'''、'''情報不等式'''とも）とは、ある確率分布の未知母数を推定する不偏[[推定量]]には、その[[分散 (確率論)|分散]]についてある下限値が存在することを示すものである。名称は、1940年代にそれぞれ独立に推定精度に関する限界を見出した、[[ハラルド・クラメール]]、[[カリャンプディ・ラダクリシュナ・ラオ]]、[[モーリス・ルネ・フレシェ]]、{{仮リンク|ジョルジュ・ダルモア|en|Georges Darmois|fr|Georges Darmois}}にちなむ<ref name="Cramèr">{{cite book  | last = Cramér | first = Harald | title = Mathematical Methods of Statistics | place = Princeton, NJ | publisher = Princeton Univ. Press | year = 1946 | isbn = 0-691-08004-6  | oclc = 185436716 }}</ref><ref name="Rao">{{cite journal  | last = Rao | first = Calyampudi Radakrishna | title = Information and the accuracy attainable in the estimation of statistical parameters | journal = Bulletin of the [[Calcutta Mathematical Society]] |mr=0015748  | volume = 37 | pages = 81–89  | year = 1945 }}</ref><ref name="Rao papers">{{cite book  | last = Rao | first = Calyampudi Radakrishna | title = Selected Papers of C. R. Rao | editor = S. Das Gupta | place = New York | publisher = Wiley | year = 1994 | isbn = 978-0-470-22091-7  | oclc = 174244259 }}</ref><ref name="Darmois 1945">{{cite journal|last1=Darmois|first1=Georges|title=Sur les limites de la dispersion de certaines estimations|journal=Rev. Int. Inst. Statist.|date=1945|volume=13|pages=9–15}}</ref><ref name="Fréchet 1943">{{cite journal|last1=Fréchet|first1=Maurice|title=Sur l'extension de certaines évaluations statistiques au cas de petit échantillons|journal=Rev. Inst. Int. Statist.|date=1943|volume=11|pages=182–205}}</ref><ref name="Gart 1958">{{cite journal|last1=Gart|first1=John J.|title=An extension of the Cramér–Rao inequality|journal=Ann. Math. Stat.|date=1958|volume=29|pages=367–380}}</ref><ref name="Malécot 1947">{{cite journal|last1=Malécot|first1=Gustave|title=Statistical methods and the subjective basis of scientific knowledge|journal=Genet. Sel. Evol.|date=1999|volume=31|pages=269–298|trans-title=translated from Année X 1947 by Daniel Gianola}}</ref>。

最も単純に述べると、『任意の[[不偏推定量]]の分散は、 その[[フィッシャー情報量]]の逆数以上になる』というものである。不偏な推定量がこの下限を達成するとき、その推定量は（完全な）{{仮リンク|有効推定量|en|efficient estimator}}であるという。この場合、その推定量はあらゆる不偏推定量の中で[[平均二乗誤差]]が最小のものとなるため、必然的に{{仮リンク|最小分散不偏推定量|en|minimum-variance unbiased estimator}}（MVU推定量）にもなる。

しかしながら、どんな不偏推定量を考えても分散が決してクラメール・ラオの下限に到達できないようなケースもある（MVU推定量が存在するときでもこれは起こりえる）。

クラメール・ラオの限界には、不偏でない推定量に対するバージョンもある。不偏性の条件を取り除くことで、推定量の分散・平均二乗誤差が、不偏の場合のクラメール・ラオの下限を「下回る」ようなケースも存在する。{{仮リンク|推定量の偏り|en|bias of an estimator}}も参照。

== 主張 ==
ここでは、母数が1つ・推定量が不偏である場合から始めて、いくつかのかなり一般的な場合へと拡張していく。どのバージョンでもある種の正規性の仮定をおくが、それはほとんどの「普通のふるまいをする」確率分布については成り立つものである。この条件については後述する。

=== 母数が1つで推定量が不偏の場合 ===
何らかの[[確率密度関数]] <math>f(x;\theta)</math> に従って分布する量 <math>x</math> の観測値から、未知母数 <math>\theta</math> を推定することを考える。このとき、 <math>\theta</math> に対する任意の不偏な推定量 <math>\hat{\theta}</math> の分散は、[[フィッシャー情報量]]  <math>I(\theta)</math> の逆数以上になる：

:<math>\operatorname{Var}(\hat{\theta})
\geq
\frac{1}{I(\theta)}
</math>
フィッシャー情報量 <math>I(\theta)</math> は
:<math>
I(\theta) = \operatorname{E}
 \left[
  \left(
   \frac{\partial \ell(X;\theta)}{\partial\theta}
  \right)^2
 \right]
</math>
と定義される。ここで、 <math>\ell(x;\theta)=\ln  (f(x;\theta))</math> は[[尤度関数|尤度]]の[[自然対数]]をとったもの（なお <math>\frac{\partial \ell(x;\theta)}{\partial\theta}</math> を{{仮リンク|スコア関数|en|Score (statistics)}}という）で、 <math>\operatorname{E}</math> は平均を表す。

不偏推定量 <math>\hat{\theta}</math> の有効度は、推定量の分散がこの下限にどの程度接近しているかを測る指標で、次のように定義される。

:<math>e(\hat{\theta}) = \frac{I(\theta)^{-1}}{\operatorname{Var}(\hat{\theta})}</math>

不偏推定量の分散の下限値を、実際の分散で割った値、ともいえる。クラメール・ラオの下限より <math>e(\hat{\theta}) \le 1</math> となる。

=== 母数が1つで、母数の関数の値を推定する場合 ===
より一般に、確率変数 <math>X</math> の関数 <math>T(X)</math> を用いて、母数の関数 <math>\psi(\theta)</math> を推定することを考える。<math> \operatorname{E} \left[ T(X)\right] = \psi(\theta) </math> であるとする。このときの分散の下限は、
:<math>
\operatorname{Var}(T)
\geq
\frac{[\psi'(\theta)]^2}{I(\theta)}
</math>
ここで <math>\psi'(\theta)</math> は <math>\psi(\theta)</math> の <math>\theta</math> による微分、 <math>I(\theta)</math> はフィッシャー情報量である。

=== 母数が1つで推定量が不偏とは限らない場合 ===
母数 <math>\theta</math> の推定量 <math>\hat{\theta}</math> に <math>b(\theta) = \operatorname{E} [ \hat{\theta} ] - \theta</math> だけの偏りがあるとする。

<math>\psi(\theta) = b(\theta) + \theta</math> と置いて前項の結果を使うと、
:<math>
\operatorname{Var} ( \hat{\theta} )
\geq
\frac{[1+b'(\theta)]^2}{I(\theta)}
</math>
不偏のときの不等式は、 <math>b(\theta)=0</math> とした特別な場合である。

分散を小さくすることだけを考えるなら、定数関数となる「推定量」をとれば、分散はゼロである。しかし上記の式から、推定量の平均二乗誤差には

:<math>\operatorname{E}\left[ (\hat{\theta}-\theta)^2 \right] \geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2</math>

という下限が存在することになる。ここで、平均二乗誤差の標準的な分解式
:<math>
\operatorname{MSE}(\hat{\theta}) := \operatorname{E} \left [(\hat{\theta}-\theta)^2 \right ] = \operatorname{E} \left[\left(\hat{\theta}-\operatorname{E}[\hat\theta]\right)^2\right]+\left(\operatorname{E}[\hat\theta]-\theta\right)^2
</math>

を用いた。

'''注意'''：もし <math>1+b'(\theta)<1</math> であれば、不偏のときのクラメール・ラオの下限 <math>1/I(\theta)</math> を下回ることもある。例えば、後述する例では、  <math>1+b'(\theta)= \frac{n}{n+2} <1</math> となる。

=== 母数が複数（ベクトル値）の場合 ===
クラメール・ラオの限界を、母数が複数の場合にも拡張しよう。母数[[ベクトル空間|ベクトル]]を 
:<math>\boldsymbol{\theta} = \left( \theta_1, \theta_2, \dots, \theta_d \right)^{T} \in \mathbb{R}^d</math>
とし（右肩の ''T'' は転置を表す（以下同じ））、それによって決まる確率密度関数 <math>f(x; \boldsymbol{\theta})</math> を考える。<math>f</math> は後述の正規性の条件をみたすものとする。 
[[フィッシャー情報行列]]は、 <math>d \times d</math> 行列で、その成分 <math>I_{m, k}</math> が
:<math>
\begin{align}
I_{m, k}
&= \operatorname{E} \left[
 \frac{\partial }{\partial \theta_m} \ln f\left(x; \boldsymbol{\theta}\right)
 \frac{\partial }{\partial \theta_k} \ln f\left(x; \boldsymbol{\theta}\right)
\right] \\
&= -\operatorname{E} \left[
 \frac{\partial ^2}{\partial \theta_m \partial \theta_k} \ln f\left(x; \boldsymbol{\theta}\right)
\right]
\end{align}
</math>

で定まる行列のことである。 <math>\boldsymbol{T}(X)</math> を、母数ベクトルの任意の推定量としよう： <math>\boldsymbol{T}(X) = (T_1(X), \ldots, T_d(X))^T</math>。ここで、各成分の平均を並べた平均ベクトル <math>\operatorname{E}[\boldsymbol{T}(X)]</math> を <math>\boldsymbol{\psi}(\boldsymbol{\theta})</math> と記す。

このとき、 <math>\boldsymbol{T}(X)</math> の[[分散共分散行列]]に対するクラメール・ラオの限界は、
:<math>
\operatorname{Cov}\left(\boldsymbol{T}(X)\right)
\geq
\frac
 {\partial \boldsymbol{\psi} \left(\boldsymbol{\theta}\right)}
 {\partial \boldsymbol{\theta}}
\left(
[I\left(\boldsymbol{\theta}\right)]^{-1}
 \frac
  {\partial \boldsymbol{\psi}\left(\boldsymbol{\theta}\right)}
  {\partial \boldsymbol{\theta}}
\right)^T
</math>
となる。ここで、
* 行列に対する不等式 <math>A \ge B</math> は、行列の差 <math>A-B</math> が[[行列の定値性|非負定値]]であるということである。
* <math>\partial \boldsymbol{\psi}(\boldsymbol{\theta})/\partial \boldsymbol{\theta}</math> は[[ヤコビ行列]]（ <math>ij</math> 成分が <math>\partial \psi_i(\boldsymbol{\theta})/\partial \theta_j</math> ）である。

<!-- please leave this extra space as it improves legibility. -->

もし <math>\boldsymbol{T}(X)</math> が <math>\boldsymbol{\theta}</math> の不偏推定量であれば（つまり <math>\boldsymbol{\psi}\left(\boldsymbol{\theta}\right) = \boldsymbol{\theta}</math> であれば）クラメール・ラオの限界は
: <math>
\operatorname{Cov} \left(\boldsymbol{T}(X)\right)
\geq
I\left(\boldsymbol{\theta}\right)^{-1}
</math>

のようになる。フィッシャー情報行列の[[逆行列]]を計算するのが面倒な場合は、単に対応する対角成分の逆数をとることで、（より緩いかもしれないが）1つの下限が得られる<ref>For the Bayesian case, see eqn. (11) of {{cite journal |last=Bobrovsky |last2=Mayer-Wolf |last3=Zakai |title=Some classes of global Cramer–Rao bounds |journal=Ann. Stat. |volume=15 |issue=4 |pages=1421–38 |year=1987 }}</ref>。

:<math>
\operatorname{Var} (T_m(X))
=
\left[\operatorname{Cov} \left(\boldsymbol{T}(X)\right)\right]_{mm}
\geq
\left[I\left(\boldsymbol{\theta}\right)^{-1}\right]_{mm}
\geq
\left(\left[I\left(\boldsymbol{\theta}\right)\right]_{mm}\right)^{-1}
</math>

=== 正規性の条件 ===
クラメール・ラオの不等式が成り立つための[[確率密度関数]] <math>f(x; \theta)</math> と推定量 <math>T(X)</math> に関する2つの弱い十分条件は、次のとおりである:
* フィッシャー情報量が常に定義されていること。言い換えると、次式を <math>x</math> で積分した値が有限値として存在すること。
::<math> \frac{\partial}{\partial\theta} \ln f(x;\theta)</math>
* <math>T</math> の期待値について、 <math>x</math> についての積分と、 <math>\theta</math> についての偏微分が交換可能である、つまり
::<math>
 \frac{\partial}{\partial\theta}
 \left[
  \int_{\mathbb{R}}  T(x) f(x;\theta) \,dx
 \right]
 =
 \int_{\mathbb{R}}  T(x)
  \left[
   \frac{\partial}{\partial\theta} f(x;\theta)
  \right]
 \,dx
</math>
:が、右辺が存在する限り成り立つこと。

:この条件は、以下のいずれかの場合が成り立つことをもって確認されることが多い：
# 関数 <math>f(x;\theta)</math> は、 <math>\theta</math> に依らない有界な[[関数の台]]（非ゼロとなる定義域）を持つ。
# <math>\theta</math> に依らない[[可積分関数]] <math>g(x)</math> が存在して <math>\left | T(x)\frac{\partial}{\partial\theta}f(x;\theta) \right \vert</math> を上から抑える。つまり、
:::<math>\left | T(x)\frac{\partial}{\partial\theta}f(x;\theta) \right \vert \le g(x) \quad (\forall x, \forall \theta) ,\quad \int_{\mathbb{R}} g(x) \,dx < \infty </math>

=== フィッシャー情報量の変形 ===
<math>f(x;\theta)</math> が <math>\theta</math> で2階偏微分可能であるとすると、フィッシャー情報量は
:<math>
\begin{align}
I(\theta)
& =
 \operatorname{E}
 \left[ \left(
   \frac{\partial}{\partial\theta} \ln f(X;\theta)
  \right)^2 \right] \\
& =
 \int_{\mathbb{R}} 
   f(x;\theta) \frac{1}{ \left( f(x;\theta) \right)^2 } \left( \frac{\partial f(x;\theta)}{\partial\theta}   \right)^2 
 \, dx \\
& =
 - \int_{\mathbb{R}} 
   f(x;\theta) \frac{ f(x;\theta) \frac{\partial f(x;\theta)}{\partial\theta}- \left( \frac{\partial f(x;\theta)}{\partial\theta}  \right)^2 }{\left( f(x;\theta) \right)^2}    
 \, dx \\
& =
 - \int_{\mathbb{R}} 
   f(x;\theta) \left( \frac{\partial^2}{\partial\theta^2} \ln f(x;\theta) \right) 
 \, dx \\
& =
 -\operatorname{E}
 \left[
  \frac{\partial^2}{\partial\theta^2} \ln f(X;\theta)
 \right]
\end{align}
</math>
（3番目の等号の箇所で 
:<math> \int_{\mathbb{R}} \frac{\partial f(x;\theta)}{\partial\theta} \, dx = \frac{\partial}{\partial\theta} \int_{\mathbb{R}}f(x;\theta)\, dx = \frac{\partial}{\partial\theta}(1)=0</math> 
であることを用いた）

と変形でき、クラメール・ラオの不等式は次のようにも書ける。
:<math>
\operatorname{Var} ( \hat{\theta} )
\geq
\frac{1}{I(\theta)}
= \frac{1}
{ -\operatorname{E}
 \left[
  \frac{\partial^2}{\partial\theta^2} \ln f(X;\theta)
 \right] }
</math>
こちらの公式の方が下限を評価するのにより有用な場合がある。

== 母数が1つの場合の証明 ==
母数が1つの場合のクラメール・ラオの不等式を一般的に証明する。

<math>X</math> を、確率密度関数が <math>f(x; \theta)</math> となる確率分布に従う[[確率変数]]とし、<math>T=t(X)</math> は <math>X</math> の関数で、母数 <math>\theta</math> の関数である <math>\psi(\theta)</math> の不偏推定量であるとする。つまり、 <math>\operatorname{E}\left[ T \right] = \psi (\theta)</math>。

目標は、任意の <math>\theta</math> に対して
:<math>\operatorname{Var}(t(X)) \geq \frac{[\psi^\prime(\theta)]^2}{I(\theta)}</math>
を示すことである。

<math>V</math> を次のように定義する（これはスコア関数である）：

:<math>V = \frac{\partial}{\partial\theta} \ln f(X;\theta) = \frac{1}{f(X;\theta)}\frac{\partial}{\partial\theta}f(X;\theta)</math>

ここで[[連鎖律]]を使った。<math>V</math> の期待値はゼロである。なぜなら：

:<math>
\begin{align}
\operatorname{E} \left[ V \right]   
&= \int_{\mathbb{R}} f(x;\theta)\left[\frac{1}{f(x;\theta)}\frac{\partial }{\partial \theta} f(x;\theta)\right] \, dx \\
&= \frac{\partial}{\partial\theta}\int_{\mathbb{R}} f(x;\theta) \, dx 
= \frac{\partial}{\partial\theta} (1)= 0
\end{align}
</math>

ここで積分と偏微分の順序が交換可能であること（正規性の条件の2番目）を使った。

<math>V</math> と <math>T</math> の[[共分散]] <math>\operatorname{Cov}(V, T)</math> は、 <math>\operatorname{E}\left[ V \right] = 0</math> だから <math>\operatorname{Cov}(V, T) = \operatorname{E}\left[ V T \right]</math>、よって次式を得る。

:<math>
\begin{align}
\operatorname{Cov}(V,T)
& = \operatorname{E}
\left[
 T \cdot \left \{ \frac{1}{f(X;\theta)}\frac{\partial}{\partial\theta}f(X;\theta)  \right \}
\right] \\[6pt]
& = \int_{\mathbb{R}}  t(x) \left[\frac{1}{f(x;\theta)} \frac{\partial}{\partial\theta} f(x;\theta) \right] f(x;\theta)\, dx \\[6pt]
& = \frac{\partial}{\partial\theta}
\left[ \int_{\mathbb{R}}  t(x) f(x;\theta)\,dx \right]
= \frac{\partial}{\partial\theta} \operatorname{E}\left[ T \right]
= \psi^\prime(\theta)
\end{align}
</math>

ここで再び、積分と微分が交換可能であるという条件（正規性の条件の2番目）を使った。

[[コーシー・シュワルツの不等式]]から、

:<math>
\sqrt{ \operatorname{Var} (T) \operatorname{Var} (V)} \geq \left| \operatorname{Cov}(V,T) \right| = \left | \psi^\prime (\theta)
\right |</math>

よって

:<math>
\operatorname{Var}  (T) \geq \frac{[\psi^\prime(\theta)]^2}{\operatorname{Var} (V)}
= \frac{[\psi^\prime(\theta)]^2}{I(\theta)}
</math>
これが示したかったことである。

== 観測を繰り返し行うときの注意 ==
確率変数列 <math>X_1,X_2, \cdots ,X_n</math> を使って推定を行う場合について、未知母数が1つ（<math>\theta</math>）のときに絞って概要を述べる。<math>\boldsymbol{X}:= (X_1,X_2, \cdots ,X_n)</math> と書くことにする。
* 尤度関数は、[[確率密度関数|結合確率密度関数]] <math>f_n (x_1,x_2, \cdots ,x_n;\theta)=f_n (\boldsymbol{x};\theta)</math> で与えられる（標本の値 <math>\boldsymbol{x}</math> が代入されたとして <math>\theta</math> の関数とみなしている）。
* スコア関数は、尤度関数の自然対数をとってから <math>\theta</math> で偏微分したものである。
::<math>\frac{\partial}{\partial\theta} \ln f_n ( \boldsymbol{x} ; \theta )</math>
:これらはいずれも実数値関数であるので、
* フィッシャー情報量も実数値であり、
::<math>
I( \theta ) 
= \operatorname{E}
 \left[
  \left(
   \frac{\partial}{\partial\theta} \ln f_n ( \boldsymbol{X};\theta)
  \right)^2
 \right]
</math>
:となる。

本記事でここまでに述べた事柄は、次の置き換えをすれば基本的に全て同じ形式で成り立つ。
:<math>X \to \boldsymbol{X},\quad x \to \boldsymbol{x},\quad \int_{\mathbb{R}} (\cdots) \, dx \to \int_{\mathbb{R}^n} (\cdots) \, d \boldsymbol{x}</math>

特に、確率変数列 <math>\boldsymbol{X} = (X_1,X_2, \cdots ,X_n)</math> が[[独立同分布]]で、その確率密度関数が <math>f(x;\theta)</math> であるとすると、
* 尤度関数は <math>f_n (\boldsymbol{x};\theta)= \prod_{i=1}^n f(x_i ;\theta)</math>
* スコア関数は <math>\frac{\partial}{\partial\theta} \ln f_n ( \boldsymbol{x} ; \theta ) = \sum_{i=1}^{n} \left( \frac{\partial}{\partial\theta} \ln f ( x_i ; \theta ) \right) </math>
* フィッシャー情報量は 
:<math>
\begin{align}
I( \theta ) 
& = - \operatorname{E} \left[  \frac{\partial^2}{\partial\theta^2} \ln f_n (\boldsymbol{X}; \theta )  \right] \\
& = - \operatorname{E} \left[  \frac{\partial^2}{\partial\theta^2} \sum_{i=1}^{n} \{  \ln f ( X_i ; \theta ) \} \right] \\
& = - \sum_{i=1}^{n} \left( \operatorname{E} \left[  \frac{\partial^2}{\partial\theta^2}  \{  \ln f ( X ; \theta ) \} \right] \right) \\
& = -n \operatorname{E} \left[  \frac{\partial^2}{\partial\theta^2}  \ln f ( X ; \theta )  \right]
\end{align}
</math>
となる。

== 例 ==

=== 多変量正規分布 ===
平均値ベクトル <math>\boldsymbol{\mu}( \boldsymbol{\theta})</math>、分散共分散行列 <math>{\boldsymbol C} ( \boldsymbol{\theta})</math> が未知母数ベクトル <math>\boldsymbol{\theta}</math> で定まるような、一般的な ''d'' 次元[[正規分布]] <math>N_d \left( \boldsymbol{\mu}( \boldsymbol{\theta}) ,{\boldsymbol C} ( \boldsymbol{\theta})
\right)
</math> の場合、
: 
フィッシャー情報行列の成分は<ref>{{cite book
  | last = Kay
  | first = S. M.
  | title = Fundamentals of Statistical Signal Processing: Estimation Theory
  | year = 1993
  | publisher = Prentice Hall
  | page = 47
  | isbn = 0-13-042268-1 }}
</ref>、
:<math>
I_{m, k}
= \frac{\partial \boldsymbol{\mu}^T}{\partial \theta_m}
{\boldsymbol C}^{-1}
\frac{\partial \boldsymbol{\mu}}{\partial \theta_k}
+ \frac{1}{2}
\operatorname{tr}
\left(
 {\boldsymbol C}^{-1}
 \frac{\partial {\boldsymbol C}}{\partial \theta_m}
 {\boldsymbol C}^{-1}
 \frac{\partial {\boldsymbol C}}{\partial \theta_k}
\right)
</math>
ここで "tr" は行列の[[跡 (線型代数学)|トレース]]を表す。

より簡単な例として、平均 <math>\theta</math> が未知で分散 <math>\sigma^2</math> が既知の正規分布から、独立に <math>d</math> 回抽出してえられる標本量ベクトルを <math>\mathbf{W}_d</math> とする。
:<math>\mathbf{W}_d \sim N_d \left(\theta {\boldsymbol 1}, \sigma^2 {\boldsymbol I} \right)</math>
ここで <math>{\boldsymbol 1}</math> は 1 を ''d'' 個並べたベクトル、<math>{\boldsymbol I}</math> は ''d'' 次単位行列である。未知母数が1つなのでフィッシャー情報量は
:<math>
I(\theta)
=
\left(\frac{\partial\boldsymbol{\mu}(\theta)}{\partial\theta}\right)^T{\boldsymbol C}^{-1} \left(\frac{\partial\boldsymbol{\mu}(\theta)}{\partial\theta}\right)
= \sum^d_{i=1}\frac{1}{\sigma^2} = \frac{d}{\sigma^2}
</math>

とスカラーで与えられ、クラメール・ラオの下限は

:<math>
\operatorname{Var} (\hat \theta )
\geq
\frac{\sigma^2}{d}
</math>

=== 平均が既知の正規分布の場合 ===
<math>X, \{ X_{i} \} _{i}</math> を、平均 <math>\mu</math> が既知、分散 <math>\sigma^2</math> が未知の[[正規分布]]に従う独立な確率変数（列）だとする。次のような統計量を考えよう：

:<math>
T=\frac{\sum_{i=1}^n (X_i-\mu)^2}{n}
</math>

このとき <math>\operatorname{E}\left[ T \right] =\sigma^2</math> より、 <math>T</math> は <math>\sigma^2</math> の不偏推定量になる。

* <math>T</math> の'''分散'''は、

::<math>
\operatorname{Var}(T) = \frac{\operatorname{Var}(X-\mu)^2}{n}=\frac{1}{n}
\left[
\operatorname{E}\left[ (X-\mu)^4 \right] -\left( \operatorname{E}\left[ (X-\mu)^2 \right] \right)^2
\right]
</math>

:（2番目の等号は分散の定義）。第1項は正規分布の4次の中心[[モーメント (確率論)|モーメント]]であり、 <math>3(\sigma^2)^2</math> に等しい。第2項は分散の2乗、つまり <math>(\sigma^2)^2</math> である。よって

::<math>\operatorname{Var}(T)=\frac{2(\sigma^2)^2}{n}</math>

* 一方'''フィッシャー情報量'''については、まず、観測1回あたりのスコア関数 <math>V</math> が尤度関数 <math>L</math> から次のように計算できる。

::<math>
\begin{align}
V 
& = \frac{\partial}{\partial (\sigma^2 ) }\ln L(\sigma^2,X) \\
& = \frac{\partial}{\partial (\sigma^2) }\ln \left[\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(X-\mu)^2 /{2\sigma^2}}\right] =\frac{(X-\mu)^2}{2(\sigma^2)^2}-\frac{1}{2\sigma^2}
\end{align}
</math>

:最後の等号は簡単な計算でわかる。この情報量は、 <math>V</math> をもう一度偏微分してから平均をとり、マイナス1倍したものに等しい。

::<math>
\begin{align}
I
&=-\operatorname{E}\left[ \frac{\partial V}{\partial ( \sigma^2 ) }\right] 
=-\operatorname{E}\left[ -\frac{(X-\mu)^2}{(\sigma^2)^3}+\frac{1}{2(\sigma^2)^2}\right] \\
&=\frac{\sigma^2}{(\sigma^2)^3}-\frac{1}{2(\sigma^2)^2}
=\frac{1}{2(\sigma^2)^2}
\end{align}
</math>

:<math>n</math> 回の独立な観測の情報量は、これを単純に <math>n</math> 倍したものになり、
::<math>I_{n}= \frac{n}{2(\sigma^2)^2}</math>

クラメール・ラオの不等式は <math>\operatorname{Var}(T)\geq\frac{1}{I_{n}}</math> だが、この場合は等号が成り立っているため、推定量が{{仮リンク|有効|en|efficient estimator|preserve=1}}であることがわかる。

不偏でない推定量を用いれば、分散及び平均二乗誤差をより小さくすることもできる。例えば <math>T_{b} =\frac{\sum_{i=1}^n (X_i-\mu)^2}{n+2}</math> とすれば、分散は明らかにより小さくなる。実際

:<math>\operatorname{Var}(T_{b})=\frac{2n(\sigma^2)^2}{(n+2)^2} < \operatorname{Var}(T)</math>

ここで偏りは <math> -b(\sigma^2) = \sigma^2 - \operatorname{E} [ T_{b} ] = \left(1-\frac{n}{n+2}\right)\sigma^2=\frac{2\sigma^2}{n+2}</math> であり、平均二乗誤差は、『（平均二乗誤差(MSE)）＝（分散）＋（偏りの2乗）』の分解式から

:<math>\operatorname{MSE}(T_{b})=\left(\frac{2n}{(n+2)^2}+\frac{4}{(n+2)^2}\right)(\sigma^2)^2
=\frac{2(\sigma^4)}{n+2}</math>

となる。こちらも不偏推定量のときの

:<math>\operatorname{MSE}(T)=\left(\frac{2(\sigma^2)^2}{n}+0 \right) (\sigma^2)^2
=\frac{2(\sigma^4)}{n}</math>

を下回っている。

正規母集団の平均も分散も未知の場合、分散の推定量の平均二乗誤差が最小になるのは、<math> \overline{X}=\frac{1}{n}\sum_{i=1}^n(X_i) </math> を平均の推定量として

:<math>
T_{n+1} = \frac{1}{n+1}\sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2
</math>

のときである（分母が ''n''&nbsp;−&nbsp;1 や ''n''&nbsp;+&nbsp;2 のときではない）。

== 関連項目 ==
* {{仮リンク|チャップマン・ロビンズの限界|en|Chapman–Robbins bound}}
* {{仮リンク|カルバックの不等式|en|Kullback's inequality}}
* {{仮リンク|Brascamp–Liebの不等式|en|Brascamp–Lieb inequality}}

== 脚注 ==
{{reflist}}

== 参考文献 ==
* {{cite book |last=Bos |first=Adriaan van den |title=Parameter Estimation for Scientists and Engineers |location=Hoboken |publisher=[[John Wiley & Sons]] |year=2007 |isbn=0-470-14781-4 |pages=45–98 }}
* {{Cite book
  | last = Kay
  | first = Steven M.
  | title = Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory
  | publisher = Prentice Hall
  | year = 1993
  | isbn = 0-13-345711-7 }}. Chapter 3.
* {{Cite book
  | last = Shao
  | first = Jun
  | title = Mathematical Statistics
  | place = New York
  | publisher = [[Springer]]
  | year = 1998
  | isbn = 0-387-98674-X }}. Section 3.1.3.

{{DEFAULTSORT:くらめーるらおのけんかい}}
[[Category:統計学]]
[[Category:推定理論]]
[[Category:不等式]]
[[Category:数学に関する記事]]
[[Category:数学のエポニム]]