逸脱度情報量規準

逸脱度情報量規準（いつだつどじょうほうりょうきじゅん、テンプレート:Lang-en-short、略称: DIC）は、赤池情報量規準（AIC）の階層的モデリング一般化である。特に、統計モデルの事後分布がマルコフ連鎖モンテカルロ（MCMC）シミュレーションによって得られたベイズテンプレート:仮リンクにおいて有用である。DICは、AIC（赤池情報量基準）と同様に、テンプレート:仮リンクである。DICは、事後分布がおおよそ多変量正規分布である時にのみ有効である。

定義

テンプレート:仮リンクを$D(\theta )=-2\log (p(y|\theta ))+C$と定義する。$y$はデータ、$\theta$はモデルの未知のパラメータ、$p(y|\theta )$は尤度関数である。$C$は異なるモデルを比較する全ての計算で打ち消される定数であり、したがって知る必要はない。

モデルのパラメータの有効な数を計算するために一般的に使われる方法には2種類がある。1つ目の計算法は$p_D=\overline{D(\theta )}-D(\overline{\theta })$（$\overline{\theta }$は$\theta$の期待値）である。2つ目は$p_D=p_V=\frac{1}{2}\overline{\mathrm{var}(D(\theta ))}$である。パラメータの有効な数が大きい程、モデルはデータを当て嵌めるのがより簡単になり、そのため逸脱度はペナルティーを科される必要がある。

逸脱度情報量規準は、

$𝐷𝐼𝐶=p_D+\overline{D(\theta )}$

あるいは同等に

$𝐷𝐼𝐶=D(\overline{\theta })+2p_D$

として計算される。

この後者の形式から、AICとのつながりがよりはっきりと分かる。

動機

着想は、より小さなDICを持つモデルがより大きなDICを持つモデルよりも好まれるべきだ、というものである。モデルは、よい当て嵌めを好む$\overline{D}$の値と、（AICと同様に）パラメータの有効な数$p_D$の両方によってペナルティーを科される。$\overline{D}$はモデル中のパラメータの数が増加するにつれて低下するため、$p_D$項はより小さなパラメータ数を持つモデルを好むことによってこの影響を補償する。

ベイズモデル選択の場合における他の規準に対するDICの優位性は、DICがマルコフ連鎖モンテカルロシミュレーションによって生成されたサンプルから容易に計算される点である、AICは$\theta$の極大点での尤度の計算を必要とするが、これはMCMCシミュレーションから容易に得ることができない。しかしDICを計算するためには、単純に$\theta$のサンプルにわたる$D(\theta )$の平均として$\overline{D}$を計算し、$\theta$のサンプルの平均で評価された$D$の値として$D(\overline{\theta })$を計算する。次に、DICはこれらの近似値から直接得られる。Claeskens and Hjort (2008, Ch. 3.5) は、DICがAICの自然モデル-ロバスト版とテンプレート:仮リンクで同等であることを示している。

仮定

DICの導出において、未来の観察を生成する確率分布の特定のパラメータ付けられた族が真のモデルを包含することが仮定される。この仮定は常に適用できず、このシナリオにおいてモデル検証手続を考慮することが望ましい。

また、観察されたデータは事後分布を構築するためと、推定されたモデルを評価するための両方で使われる。したがって、DICは過剰適合したモデルを選択しがちである。

拡張

最近、上述した問題がテンプレート:Harvtxtによるベイズ予測情報量基準（Bayesian predictive information criterion; BPIC）で解決された。Ando (2010, Ch. 8) は様々なベイズモデル選択規準の議論を提供している。DICの過剰適合問題を避けるため、テンプレート:Harvtxt は予測の観点からベイズモデル選択規準を開発した。この規準は

$𝐼𝐶=\overline{D}+2p_D=-2{𝐄}^{\theta }[\log (p(y|\theta ))]+2p_D$

として計算される。第一項はモデルがデータにいかに良く当て嵌まっているかの指標であるのに対して、第二項はモデルの複雑さへのペナルティーである。ここで留意すべきは、この式中のテンプレート:Mvarが上述した尤度よりはむしろ予測分布という点である。

参考文献

• テンプレート:Cite journal
• Ando, T. (2010). Bayesian Model Selection and Statistical Modeling, CRC Press. Chapter 7.
• テンプレート:Cite journal
• Claeskens, G, and Hjort, N.L. (2008). Model Selection and Model Averaging, Cambridge. Section 3.5.
• テンプレート:Cite book
• van der Linde, A. (2005). "DIC in variable selection", Statistica Neerlandica, 59: 45-56. doi:10.1111/j.1467-9574.2005.00278.x
• テンプレート:Cite journal
• テンプレート:Cite journal

関連項目

• 赤池情報量規準 (AIC)
• ベイズ情報量規準 (BIC)
• テンプレート:仮リンク (FIC)
• テンプレート:仮リンク
• カルバック・ライブラー情報量
• テンプレート:仮リンク
• 渡辺・赤池情報量基準（WAIC）

外部リンク

• テンプレート:Cite video