ガウス＝マルコフの定理のソースを表示

{{回帰分析}}
'''ガウス=マルコフの定理'''（ガウス＝マルコフのていり）とは、ある[[パラメタ]]を観測値の[[線型性|線形]]結合で[[推定]]するとき[[残差]]を最小にするように[[最小二乗法]]で求めた推定量が、最良線形不偏推定量になることを保証する定理である。[[カール・フリードリヒ・ガウス]]と[[アンドレイ・マルコフ]]によって示された。

==線形回帰モデルと最小二乗推定量==
線形回帰モデルとして目的変数 {{mvar|Y}} と{{mvar|p}} 個の説明変数 {{math|1=''X''<sub>''i''</sub>, ''i'' = 1, ..., ''p''}} および誤差項 <math>\varepsilon_k</math> の関係を以下のようにモデル化したものを考える。

:<math>Y_k = \beta_0  + \beta_1 X_1 + \beta_2 X_2 +  \cdots +\beta_p X_p + \varepsilon_k,\ k=1,\dots,n.</math>

目的変数と説明変数の測定結果の組 {{math|(''y<sub>k</sub>''; ''x''<sub>''k,''1</sub>,...,''x<sub>k,p</sub>'')}} を1つのデータとし、{{math|''n( &ge; p)''}} 個のデータを用いて[[残差]]の平方和

:<math>\sum_{k=1}^n \left\{y_i - (\beta_0  + \beta_1 x_{i,1} + \beta_2 x_{i,2} +  \cdots +\beta_p x_{i,p})\right\}^2</math>

が最小になる<math>(\beta_0, \beta_1, \cdots, \beta_p)</math>を最小二乗推定量と呼ぶ。ここで

:<math>\mathbf{Y} = \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix},\ \mathbf{X} = \begin{bmatrix} 
  1 & x_{11} & x_{12} & \dots & x_{1p} \\
  1 & x_{21} & x_{22} & \dots & x_{2p} \\ 
  \vdots & \vdots & \vdots & & \vdots \\
  1 & x_{n1} & x_{n2} & \dots & x_{np} 
\end{bmatrix},\ \boldsymbol{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{bmatrix},\ \boldsymbol{\varepsilon} = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}</math>
と置くと線形回帰モデルは

:<math>\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}</math>

とかけ、[[最小二乗法|最小二乗推定量]]<math>\widehat{\boldsymbol{\beta}}</math>は

:<math>\widehat{\boldsymbol{\beta}}  =(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top \mathbf{Y}</math>

で与えられる。なお、上付き添字<math>\top</math>は[[転置行列]]を表す。

==ガウス・マルコフの定理==
===仮定===
誤差項 <math>\boldsymbol{\varepsilon}</math> について
# <math>E[\boldsymbol{\varepsilon}]=0</math> （不偏性）
# <math>\operatorname{Cov}[\boldsymbol{\varepsilon}] = \sigma^2 \boldsymbol{I}</math> （等分散性・無相関性）
を仮定する。ここで<math>\boldsymbol{I}</math>は単位行列を表す。

無相関性は独立性よりも弱い仮定であり、また正規分布など特定の分布に従うことを仮定していない。

===定理の内容===
最小二乗推定量<math>\widehat{\boldsymbol{\beta}}</math>は最良線形不偏推定量になる。つまり任意の線形不偏推定量<math>\widetilde{\boldsymbol{\beta}}</math>に対して
:<math>\operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}}\right]</math>
が成立する。

===証明===
<math>\widetilde{\boldsymbol{\beta}}</math>は線形推定量なので<math>(p+1)</math>行<math>n</math>列の行列<math>\mathbf{C}</math>を用いて<math>\widetilde{\boldsymbol{\beta}}=\mathbf{C}\mathbf{Y}</math>とかける。<math>\widetilde{\boldsymbol{\beta}}</math>が不偏性を持つための条件を求めると
<math>E[\widetilde{\boldsymbol{\beta}}]=\mathbf{C}\mathbf{X}\boldsymbol{\beta}=\boldsymbol{\beta}</math>が恒等的に成立することから<math>\mathbf{C}\mathbf{X}=\mathbf{I}</math>である。

次に<math>\widetilde{\boldsymbol{\beta}}</math>の分散共分散行列を整理すると

:<math>
\begin{alignat}{2}
\operatorname{Cov}\left[ \widetilde{\boldsymbol{\beta}} \right] & = E\left[(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})^\top\right] \\
& = E\left[\mathbf{C}\boldsymbol{\varepsilon}(\mathbf{C}\boldsymbol{\varepsilon})^\top\right] \\
& = \mathbf{C}E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\top]\mathbf{C}^T \\
& = \sigma^2\mathbf{C}\mathbf{C}^\top
\end{alignat}
</math>

になる。ここで<math>\hat{\mathbf{C}}=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top</math>とした時の推定量が最小二乗推定量<math>\widehat{\boldsymbol{\beta}}</math>になるので
<math>\mathbf{C}\mathbf{C}^\top \succeq \hat{\mathbf{C}}\hat{\mathbf{C}}^\top</math>を示せばよい。不偏性より<math>\mathbf{C}\mathbf{X}=\mathbf{I}</math>なので

:<math>
\begin{alignat}{2}
(\mathbf{C} - \hat{\mathbf{C}})\hat{\mathbf{C}}^\top & = (\mathbf{C} - \hat{\mathbf{C}})\mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = (\mathbf{C}\mathbf{X} - \hat{\mathbf{C}}\mathbf{X})(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = \mathbf{O}
\end{alignat}
</math>

に注意すると

:<math>
\begin{alignat}{2}
\mathbf{C}\mathbf{C}^\top & = (\mathbf{C}-\hat{\mathbf{C}}+\hat{\mathbf{C}})(\mathbf{C}-\hat{\mathbf{C}}+\hat{\mathbf{C}})^\top \\
& = (\mathbf{C}-\hat{\mathbf{C}})(\mathbf{C}-\hat{\mathbf{C}})^\top + \hat{\mathbf{C}}\hat{\mathbf{C}}^\top \\
& \succeq \hat{\mathbf{C}}\hat{\mathbf{C}}^\top
\end{alignat}
</math>

が成立する。したがって

:<math>\operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}}\right]</math>

が成立し、最小二乗推定量<math>\widehat{\boldsymbol{\beta}}</math>は最良線形不偏推定量になる。

== 関連項目 ==
* [[最小二乗法]]
{{節スタブ}}

== 参考文献 ==
*{{Cite web|和書|url =https://starpentagon.net/analytics/multiple_gauss_markov/|title = 有意に無意味な話: ガウス・マルコフの定理：重回帰モデルでの証明|accessdate = 2020-08-13}}

== 外部リンク ==
{{節スタブ}}

{{DEFAULTSORT:かうすまるこふのていり}}
[[Category:統計学の定理]]
[[Category:カール・フリードリヒ・ガウス]]
[[Category:アンドレイ・マルコフ]]
[[Category:数学に関する記事]]
[[Category:数学のエポニム]]