正規逆ガンマ分布

正規逆ガンマ分布（せいきぎゃくガンマぶんぷ、テンプレート:Lang-en-short）は、実数値の確率変数と正の確率変数からなる連続確率分布である。正の確率変数を分散とみなし、その周辺分布を逆ガンマ分布、実数値の確率変数の条件付き分布を正規分布とすることで定義される。ベイズ統計学では、平均と分散がともに未知の正規モデルに対する共役事前分布として用いられる。

分散の代わりに精度、すなわち分散の逆数を確率変数として用いたものが正規ガンマ分布である。

定義

逆ガンマ分布には複数の母数化がある。本項では形状母数を $\alpha$、尺度母数を $\beta$ とし、その確率密度関数を

$p({\sigma }^2\mid \alpha ,\beta )=\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }(\alpha )}({\sigma }^2{)}^{-\alpha -1}\exp (-\frac{\beta }{{\sigma }^2}),{\sigma }^2>0$

とする。

確率変数 ${\sigma }^2$ と $\mu$ が

${\sigma }^2\sim \mathrm{InvGamma}(\alpha ,\beta ),$

$\mu \mid {\sigma }^2\sim N({\mu }_0,\frac{{\sigma }^2}{\lambda })$

を満たすとき、確率変数の組 $(\mu ,{\sigma }^2)$ は 母数 $({\mu }_0,\lambda ,\alpha ,\beta )$ の正規逆ガンマ分布に従うといい、

$(\mu ,{\sigma }^2)\sim \mathrm{NIG}({\mu }_0,\lambda ,\alpha ,\beta )$

と表す。ここで

${\mu }_0\in ℝ,\lambda >0,\alpha >0,\beta >0$

である。

同時確率密度関数は

$\begin{array}{cc}p(\mu ,{\sigma }^2)& =p(\mu \mid {\sigma }^2)p({\sigma }^2)\\ & =\frac{\sqrt{\lambda }{\beta }^{\alpha }}{\sqrt{2\pi }\mathrm{\Gamma }(\alpha )}({\sigma }^2{)}^{-(\alpha +\frac{3}{2})}\exp [-\frac{2\beta +\lambda (\mu -{\mu }_0{)}^2}{2{\sigma }^2}]\end{array}$

となる。

${\mu }_0$ は正規成分の中心を定める。 $\lambda$ が大きいほど、同じ ${\sigma }^2$ のもとで $\mu$ は ${\mu }_0$の近くに集中する。 $\alpha$ と $\beta$ は ${\sigma }^2$ の逆ガンマ分布を定める。

条件付き分布と周辺分布

定義から、分散の周辺分布は

${\sigma }^2\sim \mathrm{InvGamma}(\alpha ,\beta )$

であり、分散を与えたときの条件付き分布は

$\mu \mid {\sigma }^2\sim N({\mu }_0,\frac{{\sigma }^2}{\lambda })$

である。

${\sigma }^2$ を積分して消去すると、 $\mu$ の周辺確率密度関数は

$p(\mu )=\frac{\mathrm{\Gamma }(\alpha +\frac{1}{2})}{\mathrm{\Gamma }(\alpha )}\sqrt{\frac{\lambda }{2\pi \beta }}{[1+\frac{\lambda (\mu -{\mu }_0{)}^2}{2\beta }]}^{-(\alpha +\frac{1}{2})}$

となる。これは自由度 $2\alpha$、位置母数 ${\mu }_0$、尺度の二乗 $\beta /(\lambda \alpha )$ のt分布であり、

$\mu \sim t_{2\alpha }({\mu }_0,\frac{\beta }{\lambda \alpha })$

と表せる。ここでは $t_{\nu }(m,{\tau }^2)$ を、自由度 $\nu$、位置母数 $m$、尺度の二乗 ${\tau }^2$ のt分布とする。

また、同時密度を ${\sigma }^2$ について整理すると、

${\sigma }^2\mid \mu \sim \mathrm{InvGamma}(\alpha +\frac{1}{2},\beta +\frac{\lambda (\mu -{\mu }_0{)}^2}{2})$

が得られる。

$\mu$ の条件付き分散が ${\sigma }^2$ に依存するため、 $\mu$ と ${\sigma }^2$ は一般には独立ではない。

モーメント

$\mu$ の期待値は $\alpha >1/2$ のときに存在し、

$\mathrm{E}[\mu ]={\mu }_0$

である。分散は $\alpha >1$ のときに存在し、

$\mathrm{Var}(\mu )=\frac{\beta }{\lambda (\alpha -1)}$

となる。

${\sigma }^2$ については、$\alpha >1$ のとき

$\mathrm{E}[{\sigma }^2]=\frac{\beta }{\alpha -1},$

$\alpha >2$ のとき

$\mathrm{Var}({\sigma }^2)=\frac{{\beta }^2}{(\alpha -1{)}^2(\alpha -2)}$

である。

同時確率密度関数の最頻点は

$({\mu }_0,\frac{\beta }{\alpha +3/2})$

である。

共役事前分布としての利用

正規モデル

観測値 $Y_1,\dots ,Y_n$ が、平均 $\mu$、分散 ${\sigma }^2$ の正規分布から 条件付き独立に得られるとする。

$Y_i\mid \mu ,{\sigma }^2\stackrel{\mathrm{i}\mathrm{i}\mathrm{d}}{\sim }N(\mu ,{\sigma }^2).$

平均と分散の事前分布として

$(\mu ,{\sigma }^2)\sim \mathrm{NIG}({\mu }_0,{\lambda }_0,{\alpha }_0,{\beta }_0)$

を置くことは、

${\sigma }^2\sim \mathrm{InvGamma}({\alpha }_0,{\beta }_0),\mu \mid {\sigma }^2\sim N({\mu }_0,\frac{{\sigma }^2}{{\lambda }_0})$

と置くことに等しい。

標本平均と平均まわりの平方和を

$\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i,Q=\sum _{i=1}^n(y_i-\overline{y}{)}^2$

とする。このとき、事後分布も正規逆ガンマ分布となり、

$(\mu ,{\sigma }^2)\mid y_1,\dots ,y_n\sim \mathrm{NIG}({\mu }_n,{\lambda }_n,{\alpha }_n,{\beta }_n)$

である。更新後のハイパーパラメータは

${\lambda }_n={\lambda }_0+n,$

${\mu }_n=\frac{{\lambda }_0{\mu }_0+n\overline{y}}{{\lambda }_0+n},$

${\alpha }_n={\alpha }_0+\frac{n}{2},$

${\beta }_n={\beta }_0+\frac{1}{2}Q+\frac{{\lambda }_{0}n}{2({\lambda }_0+n)}(\overline{y}-{\mu }_0{)}^2$

となる。

${\mu }_n$ は、事前分布の位置母数 ${\mu }_0$ と標本平均 $\overline{y}$ の加重平均である。 ${\lambda }_0$ は、平均に関する事前情報の強さを表し、 事前の観測数に相当する量として解釈できる。

正規・逆カイ二乗分布による母数化では、

${\nu }_0=2{\alpha }_0,{\sigma }_0^2=\frac{{\beta }_0}{{\alpha }_0}$

と対応する。この表現では ${\nu }_0$ が分散に関する事前の自由度、 ${\sigma }_0^2$ が事前の尺度を表し、

${\nu }_0{\sigma }_0^2=2{\beta }_0$

が事前の平方和に相当する。

周辺事後分布と事後予測分布

分散を積分して消去すると、平均の周辺事後分布は

$\mu \mid y_1,\dots ,y_n\sim t_{2{\alpha }_n}({\mu }_n,\frac{{\beta }_n}{{\lambda }_n{\alpha }_n})$

となる。

同じ正規モデルから得られる将来の観測値を $\tilde{Y}$ とすると、その事後予測分布は

$\tilde{Y}\mid y_1,\dots ,y_n\sim t_{2{\alpha }_n}({\mu }_n,\frac{{\beta }_n({\lambda }_n+1)}{{\alpha }_n{\lambda }_n})$

である。

ベイズ線形回帰

ベイズ線形回帰でも同じ共役構造が用いられる。回帰係数ベクトルを $𝜽$、誤差分散を ${\sigma }^2$ とすると、代表的な事前分布は

$𝜽\mid {\sigma }^2\sim N({𝒎}_0,{\sigma }^2{V}_0),{\sigma }^2\sim \mathrm{InvGamma}({\alpha }_0,{\beta }_0)$

である。正規線形モデルのもとでは、事後分布も条件付き多変量正規分布と逆ガンマ分布の組合せとなる。

他の分布との関係

正規ガンマ分布

$(\mu ,{\sigma }^2)$ が正規逆ガンマ分布に従うとき、

$\tau =\frac{1}{{\sigma }^2}$

とおけば、

$\tau \sim \mathrm{Gamma}(\alpha ,\beta ),\mu \mid \tau \sim N({\mu }_0,\frac{1}{\lambda \tau })$

となり、$(\mu ,\tau )$ は正規ガンマ分布に従う。 したがって、正規ガンマ分布と正規逆ガンマ分布は、同じ共役構造を それぞれ精度と分散によって表したものである。

正規・逆カイ二乗分布

テンプレート:仮リンクを用いて同じ分布を表すこともできる。母数を

$\alpha =\frac{\nu }{2},\beta =\frac{\nu {\sigma }_0^2}{2},\lambda =\kappa$

と置けば、正規逆ガンマ分布は正規・逆カイ二乗分布と同じ分布になる。

正規逆ウィシャート分布

平均ベクトルと共分散行列がともに未知の多変量正規分布では、 テンプレート:仮リンクを用いた テンプレート:仮リンク が共役事前分布となる。正規逆ガンマ分布はその1次元の場合に相当する。

乱数の生成

正規逆ガンマ分布に従う乱数は、条件付き分布による定義を利用して生成できる。

1. ${\sigma }^2\sim \mathrm{InvGamma}(\alpha ,\beta )$ を生成する。
2. 得られた ${\sigma }^2$ に対し、$\mu \sim N({\mu }_0,{\sigma }^2/\lambda )$ を生成する。

この2段階で得られた組 $(\mu ,{\sigma }^2)$ は、 母数 $({\mu }_0,\lambda ,\alpha ,\beta )$ の正規逆ガンマ分布に従う。

関連項目

• 共役事前分布
• 正規分布
• 逆ガンマ分布
• 正規ガンマ分布
• ベイズ線形回帰
• 事後予測分布
• テンプレート:仮リンク