最大事後確率のソースを表示

{{ベイズ統計学}}
'''最大事後確率'''（さいだいじごかくりつ、{{lang-en-short|maximum a posteriori, MAP}}）'''推定'''は、[[統計学]]において、実測データに基づいて未知の量の[[点推定]]を行う手法である。[[ロナルド・フィッシャー]]の[[最尤推定]] (MLE) に密接に関連するが、推定したい量の[[事前確率|事前分布]]を利用して[[最適化問題]]を解き確率が最大の結果を得る。したがってMAP推定は、最尤推定に[[正則化]]をつけた物と見ることもできる。 

== 概要 ==
<math>x</math> の観測に基づいて、未知の母集団パラメータ <math>\theta</math> を推定したいとする。<math>x</math> の[[標本分布]]を <math>f</math> とすると、母集団パラメータを <math>\theta</math> としたときの <math>x</math> の確率は <math>f(x|\theta)</math> となる。すると

:<math>\theta \mapsto f(x | \theta) \!</math>

という関数は[[尤度関数]]であり、

:<math>\hat{\theta}_{\mathrm{ML}}(x) = \mathop{\mathrm{arg~max}}_\theta f(x | \theta) \!</math>

は <math>\theta</math> の最尤推定である。

ここで、<math>\theta</math> の事前分布を <math>g</math> とする。すると、<math>\theta</math> を[[ベイズ推定]]における[[確率変数]]として扱える。<math>\theta</math> の[[事後確率]]は次のようになる。

:<math>\theta \mapsto \frac{f(x | \theta) \, g(\theta)}{\displaystyle\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'} \!</math>

ここで <math>g</math> は <math>\theta</math> の密度関数、<math>\Theta</math> は <math>g</math> の定義域である。これは[[ベイズの定理]]の直接的な応用である。

最大事後確率推定の手法では、次に <math>\theta</math> をこの確率変数の事後分布の[[最頻値]]として推定する。

:<math>\hat{\theta}_{\mathrm{MAP}}(x)
= \mathop{\mathrm{arg~max}}_\theta \frac{f(x | \theta) \, g(\theta)}
  {\displaystyle\int_{\Theta} f(x | \theta') \, g(\theta') \, d\theta'}
= \mathop{\mathrm{arg~max}}_\theta f(x | \theta) \, g(\theta)
\!</math>

事後分布の分母は <math>\theta</math> に依存していないので、最適化には何の役割も果たさない。<math>\theta</math> のMAP推定で事前分布 <math>g</math> が一様分布の場合の結果は、最尤推定に一致する。MAP推定は、一様損失関数における[[ベイズ推定]]関数である。

MAP推定の計算は解析的に解くか数値的に計算できる。
* [[閉形式解|閉形式]]で事前分布の最頻値が与えられるとき、解析的に解ける。この場合、[[共役事前分布]]を使う。
* [[数値解析|数値的]]最適解を得るには
** 汎用の[[最適化問題]]のアルゴリズムを使用する。例えば、[[勾配法]]（[[共役勾配法]]や[[準ニュートン法]]など）がある。勾配法の場合は[[微分法|導関数]]が必要で、それを解析的または数値的に計算する必要がある。
** [[EMアルゴリズム]]を変形して用いる。この場合、事後分布の導関数は不要である。
** [[マルコフ連鎖モンテカルロ法]]などの[[サンプリング法]]を使う。

== 正規分布での例 ==
ある並び <math>(x_1, \dots, x_n)</math> の独立な[[確率変数]] <math>N(\mu,\sigma_v^2 )</math> があり、<math>\mu</math> の事前分布は <math>N(0,\sigma_m^2 )</math> で与えられるとする。ここで <math>\mu</math> のMAP推定値を求める。

最大化すべき関数は次のようになる。

:<math>\pi(\mu) L(\mu) =  \frac{1}{\sqrt{2 \pi} \sigma_m} \exp\left(-\frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2\right) \prod_{j=1}^n \frac{1}{\sqrt{2 \pi} \sigma_v} \exp\left(-\frac{1}{2} \left(\frac{x_j - \mu}{\sigma_v}\right)^2\right)</math>

これの[[対数]]を取る。

:<math>\begin{align}\log \pi(\mu) L(\mu) &= - \log \sqrt{2 \pi} \sigma_m - \frac{1}{2} \left(\frac{\mu}{\sigma_m}\right)^2 - \log \sqrt{2 \pi} \sigma_v - \frac{1}{2} \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 \\
&= - \frac{1}{2} \left \{ \left(\frac{\mu}{\sigma_m}\right)^2  + \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 \right \} - \log 2 \pi \sigma_m \sigma_v\end{align}</math>

これは、<math>\mu</math> を動かし次の式を最小化することと等価である。

:<math> \sum_{j=1}^n \left(\frac{x_j - \mu}{\sigma_v}\right)^2 + \left(\frac{\mu}{\sigma_m}\right)^2</math>

従って <math>\mu</math> のMAP推定値は以下のようになる。

:<math>\hat{\mu}_\text{MAP} = \frac{\sigma_m^2}{n \sigma_m^2 + \sigma_v^2 } \sum_{j=1}^n x_j</math>

<math>\sigma_m \to \infty</math> の場合を無情報事前分布（{{lang-en-short|non-informative prior}}）と呼び、この例では <math>\hat{\mu}_\text{MAP} \to \hat{\mu}_\text{MLE} = \frac{1}{n} \sum_{j=1}^n x_j</math> である。

<math>\sigma_m < \infty</math> の場合は、<math>\mu</math> の事前分布の付与はL2[[正則化]]と同じ式になる。

== 参考文献 ==
* M. DeGroot, ''Optimal Statistical Decisions'', [[McGraw-Hill]], (1970).
* Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker.

== 関連項目 ==
* [[最尤推定]]

== 脚注 ==
<references/>

{{統計学}}
{{DEFAULTSORT:さいたいしこかくりつ}}
[[Category:ベイズ統計]]
[[Category:論理学と統計学]]
[[Category:数学に関する記事]]