正規ガンマ分布

正規ガンマ分布（せいきガンマぶんぷ、テンプレート:Lang-en-short）は、実数値をとる確率変数と正の値をとる確率変数の組に対して定義される連続確率分布である。ベイズ統計学では、平均と精度がともに未知の正規分布に対する共役事前分布として用いられる。精度とは分散の逆数である。

正規ガンマ分布に従う確率変数の組を $(\mu ,\tau )$ とすると、精度 $\tau$ の周辺分布はガンマ分布であり、$\tau$ を与えたときの $\mu$ の条件付き分布は正規分布となる。

定義

${\mu }_0\in ℝ$、$\lambda >0$、$\alpha >0$、$\beta >0$ とする。確率変数の組 $(\mu ,\tau )$ が正規ガンマ分布に従うとは、

$\tau \sim \mathrm{Gamma}(\alpha ,\beta ),$

$\mu \mid \tau \sim N({\mu }_0,\frac{1}{\lambda \tau })$

が成り立つことをいう。これを

$(\mu ,\tau )\sim \mathrm{NormalGamma}({\mu }_0,\lambda ,\alpha ,\beta )$

と表す。

本項では、ガンマ分布を形状母数 $\alpha$ と率母数 $\beta$ によって母数化し、その確率密度関数を

$p(\tau )=\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }(\alpha )}{\tau }^{\alpha -1}{e}^{-\beta \tau },\tau >0$

とする。率母数の代わりに尺度母数 $1/\beta$ を用いる文献もあるため、母数化の違いに注意が必要である。

確率密度関数

同時確率密度関数は

$p(\mu ,\tau )=p(\mu \mid \tau )p(\tau )$

より、

$\begin{array}{cc}p(\mu ,\tau )& =\sqrt{\frac{\lambda \tau }{2\pi }}\exp [-\frac{\lambda \tau }{2}(\mu -{\mu }_0{)}^2]\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }(\alpha )}{\tau }^{\alpha -1}{e}^{-\beta \tau }\\ & =\frac{{\beta }^{\alpha }\sqrt{\lambda }}{\mathrm{\Gamma }(\alpha )\sqrt{2\pi }}{\tau }^{\alpha -\frac{1}{2}}\exp [-\tau \{\beta +\frac{\lambda }{2}(\mu -{\mu }_0{)}^2\}],\mu \in ℝ,\tau >0\end{array}$

となる。

精度 $\tau$ が大きくなると、条件付き分布 $\mu \mid \tau$ の分散 $1/(\lambda \tau )$ は小さくなる。このため、$\mu$ と $\tau$ は一般に独立ではない。

条件付き分布と周辺分布

精度の周辺分布

定義から、

$\tau \sim \mathrm{Gamma}(\alpha ,\beta )$

である。

平均の条件付き分布

精度 $\tau$ を与えると、

$\mu \mid \tau \sim N({\mu }_0,\frac{1}{\lambda \tau })$

となる。

平均を与えたときの精度の条件付き分布

同時確率密度関数を $\tau$ について整理すると、

$\tau \mid \mu \sim \mathrm{Gamma}(\alpha +\frac{1}{2},\beta +\frac{\lambda }{2}(\mu -{\mu }_0{)}^2)$

となる。

平均の周辺分布

精度を積分して消去すると、$\mu$ の周辺分布はt分布となる。具体的には、

$\mu \sim t_{2\alpha }({\mu }_0,\sqrt{\frac{\beta }{\lambda \alpha }})$

である。ここで右辺は、自由度 $2\alpha$、位置母数 ${\mu }_0$、尺度母数 $\sqrt{\beta /(\lambda \alpha )}$ のt分布を表す。

その確率密度関数は

$p(\mu )=\frac{\mathrm{\Gamma }(\alpha +\frac{1}{2})}{\mathrm{\Gamma }(\alpha )}\sqrt{\frac{\lambda }{2\pi \beta }}{[1+\frac{\lambda (\mu -{\mu }_0{)}^2}{2\beta }]}^{-(\alpha +\frac{1}{2})}$

である。

モーメント

期待値は

$\mathrm{E}[\mu ]={\mu }_0,\mathrm{E}[\tau ]=\frac{\alpha }{\beta }$

である。$\alpha >1$ のとき、

$\mathrm{Var}(\mu )=\frac{\beta }{\lambda (\alpha -1)}$

となる。また、

$\mathrm{Var}(\tau )=\frac{\alpha }{{\beta }^2}$

である。

さらに、

$\mathrm{Cov}(\mu ,\tau )=0$

が成り立つ。これは

$\mathrm{E}[\mu \mid \tau ]={\mu }_0$

が $\tau$ に依存しないためである。ただし、条件付き分散は $\tau$ に依存するので、共分散が0であっても両者は独立ではない。

正規モデルに対する共役性

独立な観測値 $x_1,\dots ,x_n$ が

$x_i\mid \mu ,\tau \sim N(\mu ,\frac{1}{\tau }),i=1,\dots ,n$

に従うとする。事前分布として

$(\mu ,\tau )\sim \mathrm{NormalGamma}({\mu }_0,{\lambda }_0,{\alpha }_0,{\beta }_0)$

を置くと、事後分布も正規ガンマ分布となる。

標本平均を

$\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$

とすると、事後分布のハイパーパラメータは

${\lambda }_n={\lambda }_0+n,$

${\mu }_n=\frac{{\lambda }_0{\mu }_0+n\overline{x}}{{\lambda }_0+n},$

${\alpha }_n={\alpha }_0+\frac{n}{2},$

${\beta }_n={\beta }_0+\frac{1}{2}\sum _{i=1}^n(x_i-\overline{x}{)}^2+\frac{{\lambda }_{0}n}{2({\lambda }_0+n)}(\overline{x}-{\mu }_0{)}^2$

であり、

$(\mu ,\tau )\mid x_1,\dots ,x_n\sim \mathrm{NormalGamma}({\mu }_n,{\lambda }_n,{\alpha }_n,{\beta }_n)$

となる。

${\mu }_n$ は、事前分布の位置母数 ${\mu }_0$ と標本平均 $\overline{x}$ の加重平均である。

事後予測分布

新しい観測値を $x_{n+1}$ とする。$\mu$ と $\tau$ を事後分布について積分すると、

$x_{n+1}\mid x_1,\dots ,x_n\sim t_{2{\alpha }_n}({\mu }_n,\sqrt{\frac{{\beta }_n({\lambda }_n+1)}{{\alpha }_n{\lambda }_n}})$

となる。

正規逆ガンマ分布との関係

分散を

${\sigma }^2=\frac{1}{\tau }$

とすると、$(\mu ,{\sigma }^2)$ は 正規逆ガンマ分布 に従う。すなわち、正規ガンマ分布と正規逆ガンマ分布は、同じ共役構造をそれぞれ精度と分散によって表したものである。

具体的には、

$\tau \sim \mathrm{Gamma}(\alpha ,\beta )$

ならば、

${\sigma }^2={\tau }^{-1}\sim \mathrm{InvGamma}(\alpha ,\beta )$

であり、

$\mu \mid {\sigma }^2\sim N({\mu }_0,\frac{{\sigma }^2}{\lambda })$

となる。

一般化と応用

平均をベクトルへ拡張し、回帰係数ベクトルを $𝜽$ とすると、

$𝜽\mid \tau \sim N({𝒎}_0,(\tau {\mathrm{\Lambda }}_0{)}^{-1}),\tau \sim \mathrm{Gamma}({\alpha }_0,{\beta }_0)$

という共役事前分布を構成できる。この形は、誤差精度が未知の ベイズ線形回帰 などで用いられる。

乱数の生成

正規ガンマ分布から乱数を生成するには、まず

$\tau \sim \mathrm{Gamma}(\alpha ,\beta )$

を生成し、得られた $\tau$ に対して

$\mu \sim N({\mu }_0,\frac{1}{\lambda \tau })$

を生成する。

関連項目

• 正規分布
• ガンマ分布
• 共役事前分布
• 正規逆ガンマ分布
• ベイズ線形回帰
• 事後予測分布
• t分布