ジェフリーズ事前分布のソースを表示


'''ジェフリーズ事前分布（'''ジェフリーズじぜんぶんぷ、[[英語|英]]: '''Jeffreys prior）'''は、[[ベイズ確率|ベイズ統計学]]において、[[ハロルド・ジェフリーズ]]に因んで名付けられた[[事前確率|無情報事前分布]]の一つであり、その確率密度関数は[[フィッシャー情報量|フィッシャー情報]]行列の[[行列式]]の[[平方根]]で与えられる：

: <math>p\left(\vec\theta\right) \propto \sqrt{\det \mathcal{I}\left(\vec\theta\right)}.\,</math>

重要な性質として、パラメータベクトル <math>\vec\theta</math> の[[座標]]変換に対して不変であることが挙げられる。すなわち、ジェフリーズ事前分布を使用した場合、確率空間上の単位体積に割り当てられる相対確率は、ジェフリーズ事前分布を定義するために使用されるパラメータ化に関係なく同じになる。このため、{{仮リンク|スケールパラメータ|en|scale parameter}}を使用する場合に特に役立つ。 <ref>Jaynes, E. T. (1968) "Prior Probabilities", ''IEEE Trans. on Systems Science and Cybernetics'', '''SSC-4''', 227 [http://bayes.wustl.edu/etj/articles/prior.pdf pdf].</ref>

== 再パラメータ化 ==

=== 1パラメータの場合 ===
<math>\theta</math> と <math>\varphi</math> をそれぞれ統計モデルを記述するための異なる2種類のパラメータ座標とし、 <math>\theta</math> は <math>\varphi</math> の[[微分可能関数|連続微分可能]]な関数であるとする。この時、事前分布 <math>p_\theta(\theta)</math> が <math>\varphi</math> を用いた再パラメータ化の下で「不変」であるとは、以下が成り立つことである：

: <math>p_\varphi(\varphi) = p_\theta(\theta) \left|\frac{d\theta}{d\varphi}\right|,</math>

つまり、<math>p_\theta(\theta)</math> と <math>p_\varphi(\varphi)</math> が通常の[[置換積分|積分変数変換]]で関連付けられている時のことをいう。

フィッシャー情報量は再パラメータ化の下で次のように変換されるため、

: <math>I_\varphi(\varphi) = I_\theta(\theta) \left( \frac{d\theta}{d\varphi} \right)^2,</math>

事前確率分布を <math>p_\varphi(\varphi) \propto \sqrt{I_\varphi(\varphi)}</math> 及び <math>p_\theta(\theta) \propto \sqrt{I_\theta(\theta)}</math> の様に定義すれば、望んでいた「不変性」が得られる。 <ref>{{Cite journal|last=Christian P. Robert|last2=Nicolas Chopin|last3=Judith Rousseau|date=2009|title=Harold Jeffreys’s Theory of Probability Revisited|journal=Statistical Science|volume=24|issue=2|DOI=10.1214/09-STS284}}</ref>

=== 複数パラメータの場合 ===
1パラメータの場合と同様に、 <math>\theta</math> と <math>\varphi</math> をそれぞれ異なる2種類のパラメータ座標とし、<math>\theta</math> は <math>\varphi</math> の連続微分可能な関数であるとする。事前分布 <math>p_\theta(\vec\theta)</math> が再パラメータ化の下で「不変」であるとは、以下を満たすことをいう：

: <math>p_\varphi(\vec\varphi) = p_\theta(\vec\theta) \det J,</math>

ここで <math>J</math> は[[ヤコビ行列]]であり、各成分は以下で与えられる：

: <math>J_{ij} = \frac {\partial \theta_i}{\partial \varphi_j}.</math>

フィッシャー情報行列は再パラメータ化の下で次のように変換される：

: <math>I_\varphi(\vec\varphi) = J^T I_\theta(\vec\theta) J,</math>

よって

: <math>\det I_\varphi(\varphi) = \det I_\theta(\theta) (\det J)^2 </math>

したがって、事前分布を. <math>p_\varphi(\vec\varphi) \propto \sqrt{\det I_\varphi(\vec\varphi)}</math> 及び <math>p_\theta(\vec\theta) \propto \sqrt{\det I_\theta(\vec\theta)}</math>  の様に定義すれば、望んでいた「不変性」が得られる。

== 属性 ==
実用的および数学的観点に立つと、他の無情報事前分布（例：共役事前分布）の代わりにこの無情報事前確率を使用する正当な理由として、確率空間の体積の相対確率がパラメータ変換に依存しないことが挙げられる。

ジェフリーズ事前確率は[[正規化]]できない場合があり、この時は{{仮リンク|変則事前分布|en|improper prior}}になる。たとえば、既知の分散を持つ[[正規分布]]の平均に対してのジェフリーズ事前分布は、実数直線上均等になる。

ジェフリーズ事前分布を使うことは、多くの（しかし全てでない）統計学者に受け入れられている{{仮リンク|強い尤度原理|en|likelihood principle}}に違反する。ジェフリーズ事前分布を使用した場合、 <math>\vec\theta</math> の推定は <math>\vec\theta</math> の関数としての観測データを得る確率（尤度）だけに依存するのではなく、観測デザインによって決定されたありうる全ての観測データに依存する。なぜなら、フィッシャー情報量は選択された観測データに対する期待値から計算されるためである。したがって、ジェフリーズ事前分布を使用して行われた推論は、2つの実験の尤度関数が同じである場合でも、同一パラメータ <math>\vec\theta</math> を含む2つの試行で異なる可能性がある（{{仮リンク|強い尤度原理|en|likelihood principle}}の違反）。

== 最小記述長（Minimum description length） ==
統計学における[[最小記述長]]を用いたアプローチの目標は、記述長さを使用するコードのビット数で測定する場合に、データを可能な限りコンパクトに記述することである。パラメータ化された分布族の場合、各分布の記述長に基づいて最良の記述長を持つ分布を決定することができる。主な結果として、[[指数型分布族]]では、サンプルサイズが大きい場合は漸近的に、指数型分布族の要素とジェフリーズ事前分布に基づく記述長が最適になる。この結果は、パラメーター集合を完全なパラメーター空間の内部のコンパクト部分集合に制限する場合に当てはまる{{要出典|date=September 2018}} 。完全なパラメータを使用する場合は、結果の修正バージョンを使用する必要がある。

== 例 ==
パラメータ（またはパラメータの集合）のジェフリーズ事前分布は、統計モデルに依存する。

=== ガウス分布（平均について） ===
以下の実数値 <math>x</math> の[[正規分布]]を考える：

: <math>f(x\mid\mu) = \frac{e^{-(x - \mu)^2 / 2\sigma^2}}{\sqrt{2 \pi \sigma^2}}</math>
<math>\sigma</math> を固定した時、 平均 <math>\mu</math> についてのジェフリーズ事前分布は
: <math>\begin{align} p(\mu) & \propto \sqrt{I(\mu)}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{d}{d\mu} \log f(x\mid\mu) \right)^2\right]}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{x - \mu}{\sigma^2} \right)^2 \right]} \\
& = \sqrt{\int_{-\infty}^{+\infty} f(x\mid\mu) \left(\frac{x-\mu}{\sigma^2}\right)^2 dx}
= \sqrt{1/\sigma^2} \propto 1.\end{align}</math>

つまり、ジェフリーズ事前分布は <math>\mu</math> に依存しない。これは、実数直線上の正規化されていない一様分布であり、すべての点で1（または定数）の分布である。これは{{仮リンク|不適切な事前分布|en|improper prior}}であり、定数を選択する自由度を除き、実数直線上での一意な並進不変分布（実数の加算に関する[[ハール測度]]）である。このとき、平均は位置の測度に対応し、並進不変性は場所に関する情報がないことに対応する。

=== ガウス分布（標準偏差について） ===
以下の実数値 <math>x</math> の[[正規分布]]を考える：

: <math>f(x\mid\sigma) = \frac{e^{-(x - \mu)^2 / 2 \sigma^2}}{\sqrt{2 \pi \sigma^2}},</math>
<math>\mu</math> を固定した時、標準偏差 <math>\sigma > 0</math> についてのジェフリーズ事前分布は
: <math>\begin{align}p(\sigma) & \propto \sqrt{I(\sigma)}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{d}{d\sigma} \log f(x\mid\sigma) \right)^2\right]}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{(x - \mu)^2-\sigma^2}{\sigma^3} \right)^2 \right]} \\
& = \sqrt{\int_{-\infty}^{+\infty} f(x\mid\sigma)\left(\frac{(x-\mu)^2-\sigma^2}{\sigma^3}\right)^2 dx}
= \sqrt{\frac{2}{\sigma^2}}
\propto \frac{1}{\sigma}.
\end{align}</math>

同等に、<math display="inline">\log \sigma = \int d\sigma/\sigma</math> に対してのジェフリーズ事前分布は実数直線上の正規化されていない一様分布であり、この分布は{{Visible anchor|logarithmic prior}}として知られる。同様に、ジェフリーズ事前分布は<math>\log \sigma^2 = 2 \log \sigma</math> に対して一様でもある。これは（乗算の自由度を除き）、スケール不変（正の実数の乗算に関する[[ハール測度]]）である、一意な事前分布であり''、''標準偏差は対応するスケールの測度に対応し''、''スケール不変性はスケールに関する情報がないことに対応する。実数上の一様分布と同様に、これは{{仮リンク|不適切な事前分布|en|improper prior}}である。

=== ポアソン分布 ===
非負の整数 <math>n</math> についての[[ポアソン分布]]の場合を考える：

: <math>f(n \mid \lambda) = e^{-\lambda}\frac{\lambda^n}{n!},</math>

レートパラメータ<math>\lambda \ge 0</math>についてのジェフリーズ事前分布は

: <math>\begin{align}p(\lambda) &\propto \sqrt{I(\lambda)}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{d}{d\lambda} \log f(n\mid\lambda) \right)^2\right]}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{n-\lambda}{\lambda} \right)^2\right]} \\
& = \sqrt{\sum_{n=0}^{+\infty} f(n\mid\lambda) \left( \frac{n-\lambda}{\lambda} \right)^2}
= \sqrt{\frac{1}{\lambda}}.\end{align}</math>

同等に、<math display="inline">\sqrt\lambda = \int d\lambda/\sqrt\lambda </math> についてのジェフリーズ事前分布は、非負の実数直線上の正規化されていない一様分布である。

=== ベルヌーイ試行 ===
表面 <math>H</math> が出る確率が<math>\gamma \in [0,1]</math>、裏 <math>T</math> の出る確率が <math>(1-\gamma)</math> であるコインを考える。 <math>(H,T) \in \{(0,1), (1,0)\}</math>についてこれが出る確率は<math>\gamma^H (1-\gamma)^T</math> で与えられる。パラメータ<math>\gamma</math>についてのジェフリーズ事前分布は

: <math>\begin{align}p(\gamma) & \propto \sqrt{I(\gamma)}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{d}{d\gamma} \log f(x\mid\gamma) \right)^2\right]}
= \sqrt{\operatorname{E}\!\left[ \left( \frac{H}{\gamma} - \frac{T}{1-\gamma}\right)^2 \right]} \\
& = \sqrt{\gamma \left( \frac{1}{\gamma} - \frac{0}{1-\gamma}\right)^2 + (1-\gamma)\left( \frac{0}{\gamma} - \frac{1}{1-\gamma}\right)^2}
= \frac{1}{\sqrt{\gamma(1-\gamma)}}\,.\end{align}</math>

これは[[アークサイン分布]]であり、また<math>\alpha = \beta = 1/2</math> の時の[[ベータ分布]]でもある。さらに、 もし<math>\gamma = \sin^2(\theta)</math>ならば

: <math>\Pr[\theta] = \Pr[\gamma] \frac{d\gamma}{d\theta} \propto \frac{1}{\sqrt{(\sin^2 \theta) (1 - \sin^2 \theta)}} ~2 \sin \theta \cos \theta =2\,.</math>

つまり、<math>\theta</math>についてのジェフリーズ事前分布は<math>[0, \pi / 2]</math> 区間で一様である。同等に、 <math>\theta</math> は円全体<math>[0, 2 \pi]</math>で一様になる 。

=== 偏った確率のN面ダイス ===
同様に、 各面の出現確率が <math>\vec{\gamma} = (\gamma_1, \ldots, \gamma_N)</math> （ <math>0 \leq \gamma_i \leq 1</math> 、 <math>\sum_{i=1}^N \gamma_i = 1</math> ）で与えられる <math>N</math> 面のサイコロを振る場合、<math>\vec{\gamma}</math> についてのジェフリーズ事前分布は、すべての（アルファ）パラメーターが半分に設定された[[ディリクレ分布]]である。これは、考えられる結果ごとに半分の{{仮リンク|疑似カウント|en|Additive_smoothing}}を使用すること対応する。

同等に、各 <math>i</math> について <math>\gamma_i = \varphi_i^2</math> とおくと、<math>\vec{\varphi}</math> についてのジェフリーズ事前分布は <math>(N-1)</math> 次元の[[単位球面|単位球]]上で一様になる（''つまり、'' <math>N</math> 次元の[[単位球面|単位球]]の表面で一様）。

== 脚注 ==
 {{Reflist}}

== 参考文献 ==

* {{Cite journal|last=Jeffreys|first=H.|author-link=Harold Jeffreys|year=1946|title=An Invariant Form for the Prior Probability in Estimation Problems|journal=Proceedings of the Royal Society of London. Series A, Mathematical and Physical Sciences|volume=186|issue=1007|pages=453–461|DOI=10.1098/rspa.1946.0056|JSTOR=97883|PMID=20998741}}

* {{Cite book|last=Jeffreys|first=H.|author-link=Harold Jeffreys|year=1939|title=Theory of Probability|publisher=[[Oxford University Press]]}}


{{DEFAULTSORT:しえふりいすしせんしようほうふんふ}}
[[Category:ベイズ統計]]
[[Category:数学に関する記事]]