ベッセル補正

テンプレート:Reflistベッセル補正（ベッセルほせい、テンプレート:Lang-en-short）とは、統計学における技法の一種。標本共分散の計算の際に、分母の値としてデータの総数ではなくそれから1を引いた数を使う技法を指す。これにより、母分散や母集団の標準偏差を推定する際の偏りを補正することができる。ただし、この補正はしばしばこれらの推定量の平均二乗誤差を大きくする。

この補正手法は非常に一般的であるため、「標本分散」や「標本標準偏差」という用語は、$n-1$ を用いて補正された推定量(不偏標本分散)を指す意味で頻繁に使用される。

名称はドイツの学者フリードリヒ・ヴィルヘルム・ベッセルに由来する。

定式化

未知の平均・分散をもつ母集団からの標本$\{x_1,x_2,\dots ,x_n\}$を用いて、母集団の平均と分散を推定する問題を考える。「素朴な」標本共分散は、各標本の値から標本平均の値を引いた値を二乗した値の平均値であるから、

$\frac{1}{n}\sum _{i=1}^n{(x_i-\frac{1}{n}\sum _{j=1}^n{x}_j)}^2$

により計算される。しかし、このようにして計算された標本共分散は 偏りのある推定量となっている。 「素朴な」標本共分散に対して、以下の係数

$\frac{n}{n-1}$

を用いて補正された標本共分散は不偏推定量となる。上述の係数のことをベッセル補正と呼ぶ文献もある。

ベッセル補正は、以下の残差ベクトルの自由度と見做せる:

$(x_1-\bar{x},\dots ,x_n-\bar{x})$

ただし、$\bar{x}$ は標本平均とした。サンプルは $n$ 個の観測点から構成されているが、残差ベクトルには定義上全成分の和が0になるという制約があるため、自由に選択できる成分は $n-1$ 個に減っている。より直感的な説明はこの後の節で行う。

一般的には、ベッセル補正はサンプルサイズが有限であることに由来するバイアスの低減のための技法である。そのような有限サンプルに対する補正は歪度や尖度に対しても必要であるが、これらの推定の場合は不正確さがしばしばはるかに大きくなる。それらの偏りを完全に取り除くためには、より複雑な多変量パラメータ推定が必要となる。例えば、標準偏差に対する適切な補正は尖度に依存するが、尖度の推定にも有限標本バイアスが生じ、さらに標準偏差にも依存する。よって、両方の推定を統合する必要がある。

留意点

ベッセル補正を使用する上で留意すべき点が3つある:

1. 標準偏差の不偏推定量を与えることはできない。
2. ベッセル補正を用いることで、平均二乗誤差 が大きくなる。さらに、平均二乗誤差を最小とするような分布は存在しない。
3. (レアケースではあるものの、)母集団平均が既知の場合に用いるべきではない。

まず、ベッセル補正は母分散の推定の際には有用な技法であるが、ベッセル補正をかけた標本分散の平方根は、母集団の標準偏差として偏りのある推定量となる。これは、$f(x)=\sqrt{x}$ という関数が凹関数であるために、イェンセンの不等式から、バイアスは下方に向かうためである。一般的には母集団の標準偏差の不偏推定量を与えるための手続きは存在していないが、正規分布をはじめとした特定の分布に対してはそのような手順が存在している。詳細はテンプレート:仮リンクを参照せよ。

次に、不偏推定量は必ずしも最小二乗誤差を最小化しない。一般的には、補正をかける前の推定量よりも大きい最小二乗誤差を与える。また、最小二乗誤差を最小化するような分母の係数は尖度に依存しており、例えば正規分布の場合は $n$ や $n-1$ を使う代わりに $n+1$ を利用するのが最小値を与えることが知られている。

最後に、ベッセル補正が必要となるのは母集団の平均値・分散が共に未知である場合に、それらの両方を母集団からのサンプルから推定するという状況に限られる。そのような状況では、平均の推定に $n$ 個のサンプル全ての情報を利用した後、分散を計算するための残差ベクトルに使える情報量が $n-1$ となっている。しかし、もし母集団の平均値がわかっている場合、平均値を求めるステップがなくなるため、 $n$ 個のサンプル全ての情報を分散を求めるために利用できる。よって、ベッセル補正の適用は不適当となる。

バイアスの発生源

ベッセル補正が必要になる根本的な原因は、真の平均が未知であるためにその推定値を当てはめて計算を行うところにある。標本平均を用いて素朴に計算された分散は、真の平均を用いて計算した分散よりも各標本において必ず小さくなり、期待値としても系統的に過小推定となる。

このことは数式で確認できる。独立同分布である標本の値として $x_1,\dots ,x_n$ が得られたとする。母集団の真の平均が $\mu$ であるとし、観測値から得られた標本平均を $\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$ とする。

大数の法則により、母集団の分散は

${\sigma }^2\approx \frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$

で推定できる。ただし、この式には標本平均ではなく母集団平均が使われていることに注意せよ。この式で母集団平均の代わりに標本平均を用いた場合の影響は、次のように計算できる:

$\begin{array}{cc}{\sigma }^2\approx \frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2& =\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }+\hat{\mu }-\mu {)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }{)}^2\underset{=0}{\underbrace{+\frac{2}{n}\sum _{i=1}^n(x_i-\hat{\mu })(\hat{\mu }-\mu )}}+\frac{1}{n}\sum _{i=1}^n(\hat{\mu }-\mu {)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }{)}^2+(\hat{\mu }-\mu {)}^2\end{array}$

最後の式から、分散のナイーブな推定量は、標本平均の実際の平均からのずれからくる補正のもとで(大数の法則に基づく近似のもとで)母集団の分散に一致することが示される。標本平均のずれによる補正は実数の自乗として与えられているため非負である。したがって、母集団平均を利用した推定量は、標本平均で代用した推定量以上となり、その等号が成立するのは標本平均と母集団平均が一致する状況に限られる。

証明

$X_1,\dots ,X_n$ を独立同分布からの確率変数とし、母集団の平均値を $\mu$、分散を ${\sigma }^2$とする。

平均値と分散が共に未知である場合、サンプルされた $X_1,\dots ,X_n$ の値だけを利用してそれらを推定することになる。すなわち、 $X_1,\dots ,X_n$ を含んだ数式であってその期待値が ${\sigma }^2$に一致するような表現を構築することになる。このように構築することで、その数式は平均的には正しい値を導出する。$x_i$ を $X_i$ がランダムに実現させた値とすれば、標本平均

$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

は期待値で母集団の平均値に一致する。

分散の推定に関してナイーブな推定量は

$\frac{1}{n}\sum _{k=1}^n(x_k-\bar{x}{)}^2$

となる。これの期待値を取ると、

$\begin{array}{cc}𝔼[\frac{1}{n}\sum _{k=1}^n(x_k-\bar{x}{)}^2]& =\frac{1}{n}\sum _{k=1}^n𝔼\left[{(x_k-\frac{1}{n}\sum _{j=1}^n{x}_j)}^2\right]\\ & =\frac{1}{n}\sum _{k=1}^n𝔼\left[{(\frac{1}{n}\sum _{j=1}^n{x}_k-\frac{1}{n}\sum _{j=1}^n{x}_j)}^2\right]\\ & =\frac{1}{n^3}\sum _{k=1}^n𝔼\left[{(\sum _{j=1}^n(x_k-x_j))}^2\right]\end{array}$

までは素朴に計算できる。最後の表現における期待値は以下のように計算される:

$𝔼\left[{(\sum _{j=1}^n(X_k-X_j))}^2\right]$

$=𝔼[\sum _{j=1}^n\sum _{l=1}^n(X_k-X_j)(X_k-X_l)]$

$=\stackrel{\text{equal indices}}{\overbrace{𝔼[X_1^2]\cdot (n^2+2n\cdot (-1)+n\cdot (-1{)}^2)}}+\stackrel{\text{unequal indices}}{\overbrace{𝔼[X_1{]}^2\cdot (2n(n-1)\cdot (-1)+n(n-1)\cdot (-1{)}^2)}}$

$=n(n-1)(𝔼[X_1^2]-𝔼[X_1{]}^2)$

$=n(n-1)\mathrm{Var}(X_1)$

したがって、ナイーブな推定量の期待値は、次に示されるように係数$(n-1)/n$ だけずれることになる:

$𝔼[\frac{1}{n}\sum _{k=1}^n(x_k-\bar{x}{)}^2]=\frac{n-1}{n^2}\sum _{k=1}^n\mathrm{Var}(X_1)=\frac{n-1}{n}\mathrm{Var}(X_1)$

関連項目

• コクランの定理
• 推定量の偏り
• 標準偏差
• テンプレート:仮リンク
• イェンセンの不等式

外部リンク

• テンプレート:MathWorld
• Animated experiment demonstrating the correction, at Khan Academy
• Standard Deviation and Variance Calculator – Engineering tool that automates Bessel's correction for sample data and provides step-by-step variance derivations.