共役事前分布

テンプレート:ベイズ統計学 共役事前分布（きょうやくじぜんぶんぷ、テンプレート:Lang-en-short）とは、ベイズ統計学において、ある尤度関数に対し、未知の母数の事前分布と、データを観測した後の事後分布とが同じパラメトリックな分布族に属するような事前分布である。共役事前分布を用いると、ベイズ更新は分布族のハイパーパラメータを更新する計算に帰着し、事後分布の形を解析的に求めやすくなる。また、事前情報と標本情報がどのように結合されるかを明示しやすい。

共役性は事前分布だけの性質ではなく、事前分布と尤度との組合せに関する性質である。例えば、成功確率を未知とするベルヌーイ分布または二項分布の尤度に対してはベータ分布が共役事前分布となり、ポアソン分布の平均に対してはガンマ分布が共役事前分布となる。

定義

観測データを $x$、未知の母数を $\theta$、尤度を $p(x\mid \theta )$ とする。母数 $\lambda$ によって添字付けられた事前分布の族

$𝒫=\{\pi (\theta \mid \lambda ):\lambda \in \mathrm{\Lambda }\}$

を考える。ベイズの定理により、事後分布は

$\pi (\theta \mid x,\lambda )=\frac{p(x\mid \theta )\pi (\theta \mid \lambda )}{\int p(x\mid \vartheta )\pi (\vartheta \mid \lambda )d\vartheta }$

で与えられる。

任意の許容される $\lambda$ と観測 $x$ に対して、ある ${\lambda }^{\prime }=U(\lambda ,x)$ が存在し、

$\pi (\theta \mid x,\lambda )=\pi (\theta \mid {\lambda }^{\prime })$

となるとき、分布族 $𝒫$ は尤度 $p(x\mid \theta )$ に対して共役であり、その要素を共役事前分布という。写像 $U$ は、事前分布のハイパーパラメータをデータによって事後分布のハイパーパラメータへ変換する更新則である。

ベータ分布と二項分布の例

$X_1,\dots ,X_n$ が成功確率 $p$ の独立なベルヌーイ変数であり、

$s=\sum _{i=1}^n{X}_i$

を成功回数とする。このとき尤度の母数 $p$ に依存する部分は

$L(p;x)\propto p^s(1-p{)}^{n-s}$

である。

事前分布として、ハイパーパラメータ $\alpha ,\beta >0$ のベータ分布

$\pi (p\mid \alpha ,\beta )=\frac{1}{B(\alpha ,\beta )}{p}^{\alpha -1}(1-p{)}^{\beta -1}$

を選ぶと、事後分布の核は

$\pi (p\mid x,\alpha ,\beta )\propto p^{\alpha +s-1}(1-p{)}^{\beta +n-s-1}$

となる。したがって

$p\mid x\sim \mathrm{Beta}(\alpha +s,\beta +n-s)$

であり、事後分布もベータ分布族に属する。

事後平均は

$\mathrm{E}[p\mid x]=\frac{\alpha +s}{\alpha +\beta +n}=\frac{\alpha +\beta }{\alpha +\beta +n}\frac{\alpha }{\alpha +\beta }+\frac{n}{\alpha +\beta +n}\frac{s}{n}$

と書ける。この式では、事後平均が事前平均 $\alpha /(\alpha +\beta )$ と標本比率 $s/n$ の加重平均になっており、$\alpha +\beta$ は事前情報の重み、すなわち「事前標本サイズ」に相当する量として解釈できる。

指数型分布族の自然共役事前分布

指数型分布族を自然母数 $\eta$ を用いて

$p(x\mid \eta )=h(x)\exp \{{\eta }^{𝖳}T(x)-A(\eta )\}$

と表す。ここで $T(x)$ は十分統計量、$A(\eta )$ は対数分配関数である。この尤度に対する標準的な自然共役事前分布は

$\pi (\eta \mid \chi ,\nu )=\frac{1}{Z(\chi ,\nu )}\exp \{{\eta }^{𝖳}\chi -\nu A(\eta )\}$

という形をもつ。

独立な観測 $x_1,\dots ,x_n$ を得ると、

$\pi (\eta \mid x_{1:n},\chi ,\nu )\propto \exp \{{\eta }^{𝖳}(\chi +\sum _{i=1}^{n}T(x_i))-(\nu +n)A(\eta )\}$

であるから、更新則は

${\chi }^{\prime }=\chi +\sum _{i=1}^{n}T(x_i),{\nu }^{\prime }=\nu +n$

となる。正則な指数型分布族では、適切なハイパーパラメータの範囲を選ぶことにより、この事前分布を正規化できる。Diaconis と Ylvisaker は、自然母数空間が開集合である場合などについて、事前分布が固有分布となる条件と、平均母数の事後期待値が事前平均と標本平均の線形結合になることを示した。

代表的な組合せ

以下では、ガンマ分布を形状母数 $\alpha$、率母数 $\beta$ で表す。分布の母数化には複数の慣習があるため、式を比較するときは尺度母数と率母数の違いに注意が必要である。代表的な共役の組合せは次のとおりである。

尤度・標本モデル	未知母数	共役事前分布	事後ハイパーパラメータ
ベルヌーイ分布・二項分布	成功確率 $p$	ベータ分布 $\mathrm{Beta}(\alpha ,\beta )$	${\alpha }^{\prime }=\alpha +\sum x_i$ ${\beta }^{\prime }=\beta +n-\sum x_i$
多項分布	確率ベクトル $(p_1,\dots ,p_k)$	ディリクレ分布 $\mathrm{Dir}({\alpha }_1,\dots ,{\alpha }_k)$	${{\alpha }_j}^{\prime }={\alpha }_j+n_j$
ポアソン分布	平均・率 $\lambda$	ガンマ分布 $\mathrm{Gamma}(\alpha ,\beta )$	${\alpha }^{\prime }=\alpha +\sum x_i$ ${\beta }^{\prime }=\beta +n$
正規分布（分散 ${\sigma }^2$ が既知）	平均 $\mu$	正規分布 $N({\mu }_0,{\tau }_0^{-1})$	${{\tau }_0}^{\prime }={\tau }_0+n/{\sigma }^2$ ${{\mu }_0}^{\prime }=({\tau }_0{\mu }_0+\sum x_i/{\sigma }^2)/{{\tau }_0}^{\prime }$
正規分布（平均 $\mu$ が既知）	精度 $\tau =1/{\sigma }^2$	ガンマ分布 $\mathrm{Gamma}(\alpha ,\beta )$	${\alpha }^{\prime }=\alpha +n/2$ ${\beta }^{\prime }=\beta +\frac{1}{2}\sum (x_i-\mu {)}^2$
連続一様分布 $U(0,\theta )$	上限 $\theta$	パレート分布 $\mathrm{Pareto}(m,k)$	$m^{\prime }=max(m,x_1,\dots ,x_n)$ $k^{\prime }=k+n$

平均と分散がともに未知の正規モデルでは、精度を用いる場合は正規ガンマ分布、分散を用いる場合は正規逆ガンマ分布が共役事前分布として用いられる。多変量正規モデルの共分散行列に対してはテンプレート:仮リンクが代表的な共役事前分布である。

非一意性と事前分布の選択

共役事前分布族は、定義だけからは一般に一意に定まらない。例えば二項尤度に対し、固定した正の有界関数 $g(p)$ を用いて

$\pi (p\mid \alpha ,\beta )\propto g(p)p^{\alpha -1}(1-p{)}^{\beta -1}$

と定めた分布族も、$g$ を更新によらず固定する限り標本抽出について閉じている。通常のベータ分布族が広く用いられるのは、単に共役であるだけでなく、正規化定数やモーメントがよく知られ、ハイパーパラメータを解釈しやすいからである。

Raiffa と Schlaifer は、事前分布族に望まれる性質として、事後分布や期待効用を計算しやすいこと、事前の信念を十分柔軟に表せること、ハイパーパラメータを解釈しやすいことを挙げた。したがって、共役性は計算上の重要な利点である一方、事前分布の妥当性は、対象についての事前知識や感度分析も含めて検討する必要がある。

歴史

共役事前分布の考え方は、Howard Raiffa と Robert Schlaifer が1961年に刊行したベイズ意思決定論の著書で体系的に展開され、十分統計量の核を事前分布の核として用いる「自然共役事前分布」が論じられた。1979年には Persi Diaconis と Donald Ylvisaker が、正則な指数型分布族に対する自然共役事前分布の固有性条件と、平均母数の事後期待値の線形性による特徴付けを与えた。

関連項目

• ベイズ推定
• 事前確率
• 事後確率
• 事後予測分布
• 指数型分布族
• 十分統計量
• ベータ二項分布
• マルコフ連鎖モンテカルロ法