最大事後確率

テンプレート:ベイズ統計学 最大事後確率（さいだいじごかくりつ、テンプレート:Lang-en-short）推定は、統計学において、実測データに基づいて未知の量の点推定を行う手法である。ロナルド・フィッシャーの最尤推定 (MLE) に密接に関連するが、推定したい量の事前分布を利用して最適化問題を解き確率が最大の結果を得る。したがってMAP推定は、最尤推定に正則化をつけた物と見ることもできる。

概要

$x$ の観測に基づいて、未知の母集団パラメータ $\theta$ を推定したいとする。$x$ の標本分布を $f$ とすると、母集団パラメータを $\theta$ としたときの $x$ の確率は $f(x|\theta )$ となる。すると

$\theta \mapsto f(x|\theta )$

という関数は尤度関数であり、

${\hat{\theta }}_{\mathrm{M}\mathrm{L}}(x)={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta }f(x|\theta )$

は $\theta$ の最尤推定である。

ここで、$\theta$ の事前分布を $g$ とする。すると、$\theta$ をベイズ推定における確率変数として扱える。$\theta$ の事後確率は次のようになる。

$\theta \mapsto \frac{f(x|\theta )g(\theta )}{\underset{\mathrm{\Theta }}{\int }f(x|{\theta }^{\prime })g({\theta }^{\prime })d{\theta }^{\prime }}$

ここで $g$ は $\theta$ の密度関数、$\mathrm{\Theta }$ は $g$ の定義域である。これはベイズの定理の直接的な応用である。

最大事後確率推定の手法では、次に $\theta$ をこの確率変数の事後分布の最頻値として推定する。

${\hat{\theta }}_{\mathrm{M}\mathrm{A}\mathrm{P}}(x)={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta }\frac{f(x|\theta )g(\theta )}{\underset{\mathrm{\Theta }}{\int }f(x|{\theta }^{\prime })g({\theta }^{\prime })d{\theta }^{\prime }}={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{\theta }f(x|\theta )g(\theta )$

事後分布の分母は $\theta$ に依存していないので、最適化には何の役割も果たさない。$\theta$ のMAP推定で事前分布 $g$ が一様分布の場合の結果は、最尤推定に一致する。MAP推定は、一様損失関数におけるベイズ推定関数である。

MAP推定の計算は解析的に解くか数値的に計算できる。

• 閉形式で事前分布の最頻値が与えられるとき、解析的に解ける。この場合、共役事前分布を使う。
• 数値的最適解を得るには
  • 汎用の最適化問題のアルゴリズムを使用する。例えば、勾配法（共役勾配法や準ニュートン法など）がある。勾配法の場合は導関数が必要で、それを解析的または数値的に計算する必要がある。
  • EMアルゴリズムを変形して用いる。この場合、事後分布の導関数は不要である。
  • マルコフ連鎖モンテカルロ法などのサンプリング法を使う。

正規分布での例

ある並び $(x_1,\dots ,x_n)$ の独立な確率変数 $N(\mu ,{\sigma }_v^2)$ があり、$\mu$ の事前分布は $N(0,{\sigma }_m^2)$ で与えられるとする。ここで $\mu$ のMAP推定値を求める。

最大化すべき関数は次のようになる。

$\pi (\mu )L(\mu )=\frac{1}{\sqrt{2\pi }{\sigma }_m}\exp (-\frac{1}{2}{\left(\frac{\mu }{{\sigma }_m}\right)}^2)\prod _{j=1}^n\frac{1}{\sqrt{2\pi }{\sigma }_v}\exp (-\frac{1}{2}{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2)$

これの対数を取る。

$\begin{array}{cc}\log \pi (\mu )L(\mu )& =-\log \sqrt{2\pi }{\sigma }_m-\frac{1}{2}{\left(\frac{\mu }{{\sigma }_m}\right)}^2-\log \sqrt{2\pi }{\sigma }_v-\frac{1}{2}\sum _{j=1}^n{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2\\ & =-\frac{1}{2}\{{\left(\frac{\mu }{{\sigma }_m}\right)}^2+\sum _{j=1}^n{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2\}-\log 2\pi {\sigma }_m{\sigma }_v\end{array}$

これは、$\mu$ を動かし次の式を最小化することと等価である。

$\sum _{j=1}^n{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2+{\left(\frac{\mu }{{\sigma }_m}\right)}^2$

従って $\mu$ のMAP推定値は以下のようになる。

${\hat{\mu }}_{\text{MAP}}=\frac{{\sigma }_m^2}{n{\sigma }_m^2+{\sigma }_v^2}\sum _{j=1}^n{x}_j$

${\sigma }_m\to \mathrm{\infty }$ の場合を無情報事前分布（テンプレート:Lang-en-short）と呼び、この例では ${\hat{\mu }}_{\text{MAP}}\to {\hat{\mu }}_{\text{MLE}}=\frac{1}{n}\sum _{j=1}^n{x}_j$ である。

${\sigma }_m<\mathrm{\infty }$ の場合は、$\mu$ の事前分布の付与はL2正則化と同じ式になる。

参考文献

• M. DeGroot, Optimal Statistical Decisions, McGraw-Hill, (1970).
• Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker.

関連項目

• 最尤推定

脚注

テンプレート:統計学