推定量の偏り

推定量の偏り（すいていりょうのかたより、テンプレート:Lang-en-short）または推定量のバイアスは統計学における概念の一つであり、推定量の期待値と推定したい対象の真の値との差のことを指す。推定量の偏りが0であるよう偏りな推定量は不偏推定量（ふへんすいていりょう、テンプレート:Lang-en-short）と呼ばれる。統計学において、「偏り」は推定量の客観的な性質である。テンプレート:仮リンクは確率論的にパラメータの真の値に収束するが、偏りを含む場合も偏りを含まない場合もありうる。

他の条件がすべて同じであれば、不偏推定量は偏りのある推定量よりも好ましいが、実際には(一般的に小さい)偏りのある推定量が頻繁に使用される。偏りのある推定量を使用する場合、その偏りの上限と下限が算出される。偏りのある推定量が使用される理由はさまざまである。いくつか例を挙げると、母集団に関するさらなる仮定なしには不偏推定量が存在しない場合、推定量の計算が困難な場合(テンプレート:仮リンクなど)、異なる中央傾向の尺度に対して偏りのある推定量が不偏となる場合がある場合、偏りのある推定量が不偏推定量と比較して平均二乗誤差の値を小さくする場合、唯一の不偏推定量が実用的でない場合などである。

偏りは通常期待値との差で定義されるが、中央値との差で定義されることもある。平均に対する不偏性は非線形なデータ変換で失われるが、中央値に対する不偏性は保存される。

パラメータに対する不偏推定量が必ずしも存在するとは限らない。例えば、二項分布の成功率の逆数に対する不偏推定量は存在しない。

定義

ある実数 $\theta$ をパラメータとして持つ統計モデルがあるとし、そのモデルのもとでの観測データ $x$ の確率分布が $P_{\theta }(x)=P(x\mid \theta )$ で与えられるとする。 今、$x$ から得られた $\theta$ の推定量を $\hat{\theta }$ とする。この時、推定量 $\hat{\theta }$ の $\theta$ に対する偏りは次で定義される: $$\mathrm{Bias}(\hat{\theta },\theta )={\mathrm{Bias}}_{\theta }\left[\hat{\theta }\right]={\mathrm{E}}_{x\mid \theta }\left[\hat{\theta }\right]-\theta ={\mathrm{E}}_{x\mid \theta }[\hat{\theta }-\theta ]$$

ここで、 ${\mathrm{E}}_{x\mid \theta }$ は確率分布 $P(x\mid \theta )$ のもとでの期待値を意味するものとした。

推定量が不偏であるとは、その推定量の偏りがいかなる $\theta$ に対しても0であることをいう。すなわち、$\hat{\theta }$ の期待値がいかなる $\theta$ に対しても $\theta$ に一致する場合を指す。推定量の不偏性はデータ変換に対して保証されない。すなわち、たとえ $\hat{\theta }$ が $\theta$ に対する不偏推定量であっても、$g(\hat{\theta })$ が $g(\theta )$ の不偏推定量であるとは限らない。ただし、$g$ が線型写像であれば不偏性は保存する。

推定量の性質を調べるためのシミュレーション実験においては、推定量の偏りは上の数式をモンテカルロ的に解いた結果得られる テンプレート:仮リンクによって推定される。

具体例

標本分散

標本分散は、推定量の偏りとリスクについて2つの異なる問題を明示する。まず、「素朴な」推定量は真の分散に比べて小さく見積もられ、不偏推定量はベッセル補正と呼ばれる操作が必要になる。一方で、推定量が不偏であるということは必ずしも平均二乗誤差を最小化するということを意味しないという例でもある。

これを示すために、母集団の真の期待値が $\mu$ 、分散が ${\sigma }^2$ であるような確率分布からの独立同分布な確率変数 $X_1,\dots ,X_n$ からこれらを推定することを考える。もし、標本平均および標本共分散を

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i{S}^2=\frac{1}{n}\sum _{i=1}^n{(X_i-\bar{X})}^2$$

で与えたとすると、この式で定義された $S^2$ は ${\sigma }^2$ に対して偏りのある推定量となっている。このことは、テンプレート:仮リンクにより直ちに示される:

$$\underset{{\sigma }^2}{\underbrace{\mathrm{Var}(X)}}=\underset{E[S^2]}{\underbrace{\mathrm{E}[\mathrm{Var}(X\mid \overline{X})]}}+\underset{{\sigma }^2/n}{\underbrace{\mathrm{Var}(\mathrm{E}[X\mid \overline{X}])}}⟹E[S^2]=\frac{n-1}{n}{\sigma }^2$$

つまり、素朴に計算した標本分散の期待値はそれが推定している母集団の分散に一致しない。これを一致させるために係数をかける手続き、またはその係数そのものはベッセル補正として知られている。一方、標本平均は母集団平均の不偏推定量である。右辺第二項の計算の詳細は、以下のように $X_1,\dots ,X_n$ が独立なことを用いる:

$$\begin{array}{cc}\mathrm{Var}(\mathrm{E}[X\mid \overline{X}])& =\mathrm{Var}\left(\bar{X}\right)=\mathrm{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\mathrm{Var}\left(X_i\right)=\frac{1}{n^2}n{\sigma }^2=\frac{{\sigma }^2}{n}\end{array}$$

素朴な標本分散 $S^2$ が偏りのある推定量となっているのは、標本平均 $\bar{X}$ が ${\sum }_{i=1}^n(X_i-\bar{X}{)}^2$ を最小化するように選択されているからである。これは、$\bar{X}$ を任意の別の値に置き換えると、たとえそれが真の平均値 $\mu \ne \bar{X}$ であっても和が小さくなることを意味する:

$$\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2<\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2,$$ ゆえに $$\begin{array}{cc}\mathrm{E}[S^2]& =\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2]<\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]={\sigma }^2.\end{array}$$

上記の議論は幾何学的にも行うことができる。$n$ 次元のベクトル $\overrightarrow{C}=(X_1-\mu ,\dots ,X_n-\mu )$ は、ベクトル $\overrightarrow{u}=(1,\dots ,1)$ に平行な成分(「平均」部分)と、それに直交する成分(「分散」部分)の和として一意に表すことができる。それぞれの成分表示は具体的に計算可能であり、それぞれ$\overrightarrow{A}=(\bar{X}-\mu ,\dots ,\bar{X}-\mu )$および$\overrightarrow{B}=(X_1-\bar{X},\dots ,X_n-\bar{X})$である。$\overrightarrow{A}$ と $\overrightarrow{B}$ は互いに直交しているので、ピタゴラスの定理により$|\overrightarrow{C}{|}^2=|\overrightarrow{A}{|}^2+|\overrightarrow{B}{|}^2$が成立する。成分表示に戻して期待値を取ることで、 $n{\sigma }^2=n\mathrm{E}[(\bar{X}-\mu {)}^2]+n\mathrm{E}[S^2]$が得られる。

$X_i$ が正規分布に従うなどの状況では、$\overrightarrow{C}$ が回転について対称となる。回転対称性のもとでは、$n$ 次元のそれぞれの成分が平均的には同程度 $|\overrightarrow{C}{|}^2$ へと寄与するので、 $\mathrm{E}[(\bar{X}-\mu {)}^2]=\frac{{\sigma }^2}{n}$ および$\mathrm{E}[S^2]=\frac{n-1}{n}{\sigma }^2$ が得られる。上述したように、これは実際には一般的に当てはまる。

ポアソン分布の推定

ポアソン分布は、偏りのある推定量がいかなる不偏推定量よりも優れる非常に極端な例である。 母数 $\lambda$ で特徴付けられるポアソン分布に従う確率変数があるとし、以下の量 $$\mathrm{P}(X=0{)}^2=e^{-2\lambda }$$

を単一の観測値から推定したいとする。これの不偏推定量 $g(X)$ は、不偏性の定義より以下を満たす:

$$e^{-2\lambda }=\mathrm{E}(g(X))=\sum _{k=0}^{\mathrm{\infty }}g(k)\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

左辺のテイラー展開から、これを満たすような $g(k)$ は次の形ただ一つに限定されることがわかる: $$g(x)=(-1{)}^x$$

これは不偏でこそあるが、実用上機能しないことはすぐにわかる。まず、観測値がどれほど大きな偶数であったとしても(すなわち、$\lambda$ が大きい値であることが示唆されても)、この推定量を使った $\lambda$ の推定値は常に0となる。また、観測値が奇数であった場合、その推定値はさらに荒唐無稽なものとなる。推定対象の量 $e^{-2\lambda }$ は正でなければならないにもかかわらず、その推定値は負になってしまうのである。

この場合、(偏りのある)最尤推定量 $$e^{-2X}$$

が不偏推定量よりも遥かによい推定量である。 不偏推定量の場合と異なりこの推定量は負になることがない上、平均二乗誤差も不偏推定量を使う場合よりも小さい。

なお、この場合における最尤推定量の偏りは$$e^{\lambda (1/e^2-1)}-e^{-2\lambda }$$である。

離散一様分布の最大値

テンプレート:Main 最尤推定量の偏りは非常に大きくなる可能性がある。$1,2,\dots ,n$ の番号が振られたくじから1枚をランダムに引いて、そのくじの番号が $x$ であったとする。今、$n$ が未知であるとして $x$ からそれを推定する場合、 $n$ の最尤推定量として $x$ が得られる。しかし、この推定量の偏りは $(n-1)/2$ であり、$n$ (または $x$)に比例して期待値からのずれが大きくなる。一方、この場合の不偏推定量は

$n=E[g(X)]=\frac{1}{n}\sum _{k=1}^{n}g(k)$

から $g(X)=2X-1$ と導かれる。よって、最尤推定量と比較してほぼ倍だけ異なる推定値が得られることになる。

中央値不偏推定量

一般的に偏りは真の平均に対して定義されるが、真の中央値に対して定義される場合がある。この理論は1947年にGeorge W. Brown によって再評価された:

中央値不偏推定量のさらなる性質はLehmann、 Birnbaum、 van der Vaart 、Pfanzaglなどによって指摘されてきた。特に、中央値不偏推定量は平均不偏推定量や最尤推定量が存在しない場合にも存在しうることが示されている。

中央値不偏推定量を構築する手法は、1パラメータのみを持つ指数型分布族に代表される単調な尤度関数を持つ確率分布に対して存在しており、こうして構築された推定量が(平均不偏推定量において考慮される最小分散性と同様の意味で)最適であることが保証される。

偏り、分散、平均二乗誤差

偏りが推定量の期待値と真の値のずれを定量的に測る一方で、有限標本に基づく推定量は、標本に含まれるランダム性に起因する別種のずれが発生することが予想される。

これら2種類の差異の両方を反映しようと試みられる指標の一つが平均二乗誤差 (Mean square error, MSE)である: $$\mathrm{MSE}(\hat{\theta })=\mathrm{E}[(\hat{\theta }-\theta {)}^2]$$

偏りを最小化するような推定量は必ずしも平均二乗誤差を最小化しない。実際、MSEは偏りと分散を用いて次のように表される: $$\begin{array}{cc}\mathrm{MSE}(\hat{\theta })=& (\mathrm{E}[\hat{\theta }]-\theta {)}^2+\mathrm{E}[(\hat{\theta }-\mathrm{E}[\hat{\theta }]{)}^2]\\ =& (\mathrm{Bias}(\hat{\theta },\theta ){)}^2+\mathrm{Var}(\hat{\theta })\end{array}$$

具体例:正規分布の分散の推定

具体例として、母集団が正規分布であるとした時、その分散の推定量として以下の形のものを考える:

$$T^2=c\sum _{i=1}^n{(X_i-\bar{X})}^2=cn{S}^2$$

そして、今回はMSEを最小化するように $c$ を選択するものとする。

$X_1,\dots ,X_n$ は正規分布に従うとしたので、確率変数 $n{S}^2/{\sigma }^2$ は自由度 $n-1$ のカイ二乗分布に従う。したがって、

$$\mathrm{E}[n{S}^2]=(n-1){\sigma }^2\text{ and }\mathrm{Var}(n{S}^2)=2(n-1){\sigma }^4$$

が成立する。ゆえに

$$\mathrm{MSE}=(c(n-1)-1{)}^2{\sigma }^4+2c^2(n-1){\sigma }^4$$

が得られる。若干の計算の末にこれを最小化する $c$ は $c=1/(n+1)$ であることが示される。これは偏りだけを最小化する場合( $c=1/(n-1)$) と異なる。

より一般的には、パラメータの値に依存せずにMSEを最小化する推定量が得られるのは限定された種類の問題に限られる。

しかし、偏りと分散のトレードオフが存在すると見なされることは非常に一般的である。すなわち、偏りをわずかに増加させることで分散をより大きく減少させることができ、その結果、全体としてより望ましい推定量が得られることになることが一般的である。

関連項目

• テンプレート:仮リンク
• テンプレート:仮リンク
• テンプレート:仮リンク
• テンプレート:仮リンク
• 期待値
• 損失関数
• テンプレート:仮リンク
• 除外変数バイアス
• テンプレート:仮リンク
• テンプレート:仮リンク
• 統計的決定理論

参考文献

• テンプレート:Cite book.
• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite book

外部リンク

• テンプレート:Springer