周辺尤度

周辺尤度 (しゅうへんゆうど、テンプレート:Lang-en)とは、パラメータについて周辺化した尤度のことである。すなわち、尤度関数をパラメータ空間全域で積分した値を指す。ベイズ統計学においては、可能なパラメータすべてを考慮した上で抽出されたサンプルを得られる確率を意味し、これはモデル自体の確率として解釈される。このことから、ベイズ統計の文脈では周辺尤度のことを証拠(テンプレート:Lang-en)あるいはエビデンスと呼ぶことがある。

周辺尤度はパラメータ空間全体についての積分によって定義される量であるため、直接的にはパラメータに依存しない。モデル比較に注目しない状況では、周辺尤度は単に事後確率を正規化するテンプレート:仮リンクに過ぎない。

概念

$𝐗=(x_1,\dots ,x_n)$ を、パラメータ$\theta$を持つ確率分布 $p(x|\theta )$ からの独立同分布なデータの集合とする。ここで、パラメータ $\theta$ 自体もさらに別の確率分布 $p(\theta |\alpha )$ に従う確率変数であるとする。このような状況において、周辺尤度 $p(𝐗\mid \alpha )$ はパラメータ $\theta$ を周辺化した時に $𝐗$ を得る確率として定義される:

$p(𝐗\mid \alpha )={\int }_{\theta }p(𝐗\mid \theta )p(\theta \mid \alpha )\mathrm{d}\theta$

ベイズ統計学の文脈では、上の定義式において $p(\theta \mid \alpha )$ を確率変数 $\theta$ の事前確率、$p(𝐗\mid \theta )$ を尤度と呼ぶ。周辺尤度が事後分布 $p(\theta \mid 𝐗,\alpha )$ の正規化定数であると読み替えることで、周辺尤度の別の表し方として

$p(𝐗\mid \alpha )=\frac{p(𝐗\mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\theta \mid 𝐗,\alpha )}$

というものが取れる。これは $\theta$ に関する恒等式になっている。

古典的な頻度主義統計学では、周辺尤度は別の文脈で出現する。今、$x$ に関する確率分布のパラメータ $\theta$ が $\theta =(\psi ,\lambda )$ と分割できる状況を考える。ただし、 $\psi$ は興味のあるパラメータであるが、 $\lambda$ はテンプレート:仮リンクと呼ばれる解析上興味のないパラメータである。もし $\lambda$ に関する確率分布 $p(\lambda |\psi )$ を定義できるのであれば、$\lambda$について点推定の値を与えるよりも周辺化した尤度を考える方が好ましい状況がある:

$ℒ(\psi ;𝐗)=p(𝐗\mid \psi )={\int }_{\lambda }p(𝐗\mid \lambda ,\psi )p(\lambda \mid \psi )\mathrm{d}\lambda$

周辺尤度は一般には計算困難であるが、周辺尤度の解析解が存在する場合も少ないながら存在する。周辺化されるパラメータがデータの確率分布の共役事前分布である場合は解析解が存在するケースも多い。そうでなければ、ある種の数値積分が必要となる。数値積分を利用する場合、ガウス求積やモンテカルロ法のような一般的な手法の他にも、テンプレート:仮リンク、ギブスサンプリング、メトロポリス・ヘイスティングス法、EMアルゴリズムなどの統計学的問題に特化した手法が利用されることがある。

観測データ $𝐗$ の代わりに単一のデータ点 $x$ に対する確率を定義することもでき、これはベイズ統計学の文脈では事前予測分布と呼ばれる。

応用

ベイズ統計におけるモデル比較

引き続き $𝐗$ を観測データとする。周辺化されるパラメータを $\theta$ 、$M$ を $\theta$ の分布を規定するモデルを表す文字とすると、周辺尤度は特定のモデルパラメータ $\theta$ を仮定しない、モデル $M$ を与えた時 $𝐗$ を得る場合の条件付き確率を記述する。この場合、周辺尤度は

$p(𝐗|M)=\int p(𝐗\mid \theta ,M)p(\theta \mid M)\mathrm{d}\theta$

と記述される。このような文脈において、周辺尤度は「モデルエビデンス」と呼ばれることもある。

この量を複数のモデルに対して計算し、それらの比を取ることで、ベイズ因子と呼ばれる量

$\frac{p(𝐗|M_1)}{p(𝐗|M_2)}$

が出現する。この量は、(事前オッズ)×(ベイズ因子)の形で表現される事後オッズ

$\frac{p(M_1\mid 𝐗)}{p(M_2\mid 𝐗)}=\frac{p(M_1)}{p(M_2)}\frac{p(𝐗\mid M_1)}{p(𝐗\mid M_2)}$

にも出現するため、ベイズ統計におけるモデル選択の上で重要である。

関連項目

• テンプレート:仮リンク
• テンプレート:仮リンク
• 周辺分布
• ベイズ情報量規準

参考文献

• Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on  )
• de Carvalho, Miguel; Page, Garritt; Barney, Bradley (2019). "On the geometry of Bayesian inference". Bayesian Analysis. 14 (4): 1013‒1036. (Available as a preprint on the web: )
• テンプレート:Cite book
• The on-line textbook: Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay.