指数型分布族のソースを表示

'''指数型分布族'''（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の[[確率分布]]。有用な代数的特性を持つ。 

指数型分布族の概念は、1935 &#x2013; 1936年に<ref>{{Cite journal
|last=Andersen|first=Erling
|date=September 1970
|title=Sufficiency and Exponential Families for Discrete Sample Spaces
|journal=Journal of the American Statistical Association
|volume=65|issue=331|pages=1248–1255
|publisher=Journal of the American Statistical Association
|DOI=10.2307/2284291|JSTOR=2284291|MR=268992}}</ref>、EJG Pitman<ref>{{Cite journal
|last=Pitman|first=E.
|last2=Wishart|first2=J.
|year=1936|title=Sufficient statistics and intrinsic accuracy
|journal=Mathematical Proceedings of the Cambridge Philosophical Society
|volume=32|issue=4|pages=567–579|bibcode=1936PCPS...32..567P|DOI=10.1017/S0305004100019307}}</ref>、G. Darmois<ref>{{Cite journal
|last=Darmois|first=G.
|year=1935
|title=Sur les lois de probabilites a estimation exhaustive
|journal=C. R. Acad. Sci. Paris|volume=200|pages=1265–1266|language=fr}}</ref> 、BO Koopman<ref>{{Cite journal
|last=Koopman|first=B.
|year=1936|title=On distribution admitting a sufficient statistic
|journal=Transactions of the American Mathematical Society
|volume=39|issue=3|pages=399–409|publisher=[[American Mathematical Society]]|DOI=10.2307/1989758|JSTOR=1989758|MR=1501854}}</ref>らによって与えられた。 

== 定義 ==

=== 指数型分布族に属する確率分布の例 ===
指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。
{{Div col|colwidth=17em}}
* [[正規分布]]
* [[指数分布]]
* [[ガンマ分布]]
* [[カイ二乗分布]]
* [[ベータ分布]]
* [[ディリクレ分布]]
* [[ベルヌーイ分布]]
* {{仮リンク|カテゴリカル分布|en|Categorical distribution}}
* [[ポアソン分布]]
* [[ウィッシャート分布]]
* {{仮リンク|逆ウィッシャート分布|en|Inverse-Wishart distribution}}
* [[幾何分布]]
{{Div col end}}

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば： 
; [[二項分布]] : 試行回数は固定
; [[多項分布]] : 試行回数は固定
; [[負の二項分布]] : 失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。 

一般的な分布のうち、指数型分布族ではないものとして、 [[T分布|スチューデントの ''t'' 分布]]、ほとんどの混合分布、範囲が固定されていない場合の[[連続一様分布|均一分布]]が挙げられる。

=== スカラーパラメータ ===
単一の実数パラメータに基づく指数型分布族では、 [[確率密度関数]] （離散分布の場合は[[確率質量関数]]）が次の形式で表現できる。 

: <math> f_X(x \mid \theta) = h(x) \exp{\left[ \eta(\theta) \cdot T(x) - A(\theta) \right]}</math>

ここで、 <math>T(x)</math>、<math>h(x)</math>、<math>\eta(\theta)</math>、<math>A(\theta)</math> はいずれも既知の関数である。 

しばしば次のように同等の形式で記述される。 

: <math> f_X(x \mid \theta) = h(x)\,g(\theta)\,\exp{\left[ \eta(\theta) \cdot T(x) \right]}</math>

次のように記述しても同等である。

: <math> f_X(x \mid \theta) = \exp{\left[ \eta(\theta) \cdot T(x) - A(\theta) + B(x) \right]}</math>

<math>\theta</math> は指数型分布族のパラメータと呼ばれる。   

<math>\eta(\theta) = \theta </math> の場合、指数型分布族は正準型（canonical form）であるという。
変換後のパラメータ <math>\eta = \eta(\theta)</math> をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを[[自然パラメータ]]（natural parameter）と呼ぶ。

=== 関連する変数の因数分解 ===
すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

=== ベクトルパラメータ ===
単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。

: <math>\boldsymbol{\theta} = \left(\theta_1, \theta_2, \ldots, \theta_s \right )^{\intercal}.</math>

確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。 

: <math> f_X(x \mid \boldsymbol{\theta}) = h(x) \exp{\left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) \cdot T_i(x) - A(\boldsymbol{\theta}) \right)}</math>

またはもっとコンパクトな形で 

: <math> f_X(x \mid \boldsymbol{\theta}) = h(x) \exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(x) - A(\boldsymbol{\theta}) \Big)}</math>

下記のように記載されることも多い。

: <math> f_X(x \mid \boldsymbol{\theta}) = h(x)\,g(\boldsymbol{\theta}) \exp \Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(x)\Big)</math>

スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。 

: <math>\forall i: \quad \eta_i(\theta_i) = \theta_i.</math>

=== ベクトルパラメータ、ベクトル変数 ===
単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、

: <math>\mathbf{x} = \left (x_1, x_2, \dotsc, x_k \right).</math>

指数型分布族の確率分布は次のように記述される。

: <math>f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\exp \left(\sum_{i=1}^s \eta_i({\boldsymbol \theta}) \cdot T_i(\mathbf{x}) - A({\boldsymbol \theta}) \right)</math>

またはもっとコンパクトな形で

: <math> f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x}) \exp \Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal} \boldsymbol{T}(\mathbf{x}) - A(\boldsymbol{\theta})\Big)</math>

次のように記述されることも多い。

: <math> f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\,g(\boldsymbol{\theta})\,\exp \Big(\boldsymbol\eta({\boldsymbol \theta})^{\intercal} \boldsymbol{T}(\boldsymbol{x}) \Big)</math>

== 性質 ==
指数型分布族には、統計分析に非常に役立つ多数の性質がある。
多くの場合、これらの特性を持つのは指数型分布族のみである。 例：
* 共役事前分布を持つ

== 例 ==
[[正規分布]]、[[指数分布]]、 [[対数正規分布]]、[[ガンマ分布]]、[[カイ二乗分布]]、[[ベータ分布]]、[[ディリクレ分布]]、[[ベルヌーイ分布]]、[[カテゴリカル分布]]、[[ポアソン分布]]、[[幾何分布]]、[[逆ガウス分布]]、[[フォン・ミーゼス分布]]、[[フォンミーゼス-フィッシャー分布]]はすべて指数型分布族に属する。 

=== 正規分布：未知の平均、既知の分散 ===
未知の平均値 <math>\mu</math> と既知の分散 <math>\sigma^2</math> による正規分布を考える。
確率密度関数は 

: <math>f_\sigma(x;\mu) = \frac 1 {\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{(x-\mu)^2}{2\sigma^2}\right).</math>

これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。 

: <math>\begin{align}
h_\sigma(x) &= \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left(-\frac{x^2}{2\sigma^2}\right) \\[4pt]
T_\sigma(x) &= \frac x \sigma \\[4pt]
A_\sigma(\mu) &= \frac{\mu^2}{2\sigma^2}\\[4pt]
\eta_\sigma(\mu) &= \frac \mu \sigma.
\end{align}</math>

<math>\sigma^2 = 1</math>、すなわち <math>\eta_\sigma(\mu) = \mu</math> の場合、これは正準型となる。

=== 正規分布：未知の平均と分散 ===
未知の平均 <math>\mu</math> と未知の分散 <math>\sigma^2</math> を持つ正規分布の場合を考える。
確率密度関数は 

: <math>f(x;\mu,\sigma) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( -\frac{(x-\mu)^2}{2 \sigma^2} \right).</math>

これは、次のように設定することで、指数型分布族であることが分かる。  

: <math>\begin{align} 
\boldsymbol{\eta} &= \left(\frac{\mu}{\sigma^2}, -\frac{1}{2\sigma^2} \right)^{\rm T} \\
h(x) &= \frac{1}{\sqrt{2 \pi}} \\
T(x) &= \left( x, x^2 \right)^{\rm T} \\
A({\boldsymbol \eta}) &= \frac{\mu^2}{2 \sigma^2} + \log |\sigma| = -\frac{\eta_1^2}{4\eta_2} + \frac{1}{2}\log\left|\frac{1}{2\eta_2} \right|
\end{align}</math>

=== 二項分布：既知の試行回数 ===
離散変数を対象とする指数型分布族の例として、試行回数 <math>n</math> が既知の[[二項分布]]を考える。

この分布の[[確率質量関数]]は 

: <math>f(x)={n \choose x}p^x (1-p)^{n-x}, \quad x \in \{0, 1, 2, \ldots, n\}.</math>

これは同等に次のように書くことができる。

: <math>f(x)={n \choose x}\exp\left(x \log\left(\frac{p}{1-p}\right) + n \log(1-p)\right),\quad x \in \{0, 1, 2, \ldots, n\}.</math>

二項分布は指数型分布族であり、その自然パラメーター <math>\eta</math> は

: <math>\eta = \log\frac{p}{1-p}.</math>

となる。
この <math>p</math> の関数は[[ロジット]]と呼ばれる。

== 分布表 ==
次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している<ref>{{Cite arXiv
|arxiv=0911.4863
|last=Nielsen|first=Frank
|last2=Garcia|first2=Vincent
|title=Statistical exponential families: A digest with flash cards}}</ref>。 

スカラー変数とスカラーパラメータの場合：

: <math> f_X(x\mid \theta) = h(x)\,\exp{\Big( \eta(\theta)\,T(x) - A(\eta) \Big)} </math>

スカラー変数とベクトルパラメータの場合： 

: <math> f_X(x \mid \boldsymbol{\theta}) = h(x)\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(x) - A({\boldsymbol \eta})\Big)}</math>
: <math> f_X(x \mid \boldsymbol{\theta}) = h(x)\,g(\boldsymbol{\theta})\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(x) \Big)}</math>

ベクトル変数とベクトルパラメータの場合： 

: <math> f_X(\mathbf{x} \mid \boldsymbol{\theta}) = h(\mathbf{x})\,\exp{\Big(\boldsymbol{\eta}(\boldsymbol{\theta})^{\intercal}\,\boldsymbol{T}(\boldsymbol{x}) - A(\boldsymbol{\eta}) \Big)}</math>

{|class="wikitable"
! [[確率分布]]
! [[母数 | パラメータ]] <math>\boldsymbol{\theta}</math>
! 自然パラメータ <math>\boldsymbol{\eta}</math>
! パラメータの逆写像
! Base measure <math>h(x)</math>
! [[十分統計量]] <math>T(x)</math>
! Log-partition <math>A(\boldsymbol{\eta})</math>
! Log-partition <math>A(\boldsymbol{\theta})</math>
|-
| [[ベルヌーイ分布]]<ref group="注釈">自然パラメータはロジット関数、パラメータの逆写像はロジスティック関数に相当する。</ref> || <math>p</math>
| <math>\log\frac{p}{1-p}</math>
| <math>\frac{1}{1+e^{-\eta}} = \frac{e^\eta}{1+e^{\eta}}</math>
| <math> 1 </math>
| <math> x </math>
| <math> \log (1+e^{\eta})</math>
| <math> -\log (1-p)</math>
|-
| [[二項分布]]<br />既知の試行回数 <math>n</math> || <math>p</math>
| <math>\log\frac{p}{1-p}</math>
| <math>\frac{1}{1+e^{-\eta}} = \frac{e^\eta}{1+e^{\eta}}</math>
| <math> {n \choose x} </math>
| <math> x </math>
| <math> n \log (1+e^{\eta})</math>
| <math> -n \log (1-p)</math>
|-
| [[ポアソン分布]] || <math>\lambda</math>
| <math>\log\lambda</math>
| <math>e^\eta</math>
| <math> \frac{1}{x!} </math>
| <math> x </math>
| <math> e^{\eta}</math>
| <math> \lambda</math>
|-
| [[負の二項分布]]<br />with known number of failures <math>r</math> || <math>p</math>
| <math>\log p</math>
| <math>e^\eta</math>
| <math> {x+r-1 \choose x} </math>
| <math> x </math>
| <math> -r \log (1-e^{\eta})</math>
| <math> -r \log (1-p)</math>
|-
| [[指数分布]] || <math>\lambda</math>
| <math>-\lambda </math>
| <math>-\eta </math>
| <math> 1 </math>
| <math> x </math>
| <math> -\log(-\eta)</math>
| <math> -\log\lambda</math>
|-
| [[パレート分布]]<br />with known minimum value <math>x_m</math> || <math>\alpha</math>
| <math>-\alpha-1</math>
| <math>-1-\eta</math>
| <math> 1 </math>
| <math> \log x </math>
| <math> -\log (-1-\eta) + (1+\eta) \log x_{\mathrm m}</math>
| <math> -\log \alpha - \alpha \log x_{\mathrm m}</math>
|-
| [[ワイブル分布]]<br />with known shape <math>k</math> || <math>\lambda</math>
| <math>-\frac{1}{\lambda^k}</math>
| <math>(-\eta)^{-\frac{1}{k}}</math>
| <math> x^{k-1} </math>
| <math> x^k </math>
| <math> -\log(-\eta) -\log k</math>
| <math> k\log\lambda -\log k</math>
|-
| [[ラプラス分布]]<br />既知の平均 <math>\mu</math> || <math>b</math>
| <math>-\frac{1}{b}</math>
| <math>-\frac{1}{\eta}</math>
| <math> 1 </math>
| <math> |x-\mu| </math>
| <math> \log\left(-\frac{2}{\eta}\right)</math>
| <math> \log 2b</math>
|-
| [[カイ二乗分布]] || <math>\nu</math>
| <math>\frac{\nu}{2}-1 </math>
| <math>2(\eta+1) </math>
| <math> e^{-\frac{x}{2}} </math>
| <math> \log x </math>
| <math> \log \Gamma(\eta+1)+(\eta+1)\log 2</math>
| <math> \log \Gamma\left(\frac{\nu}{2}\right)+\frac{\nu}{2}\log 2</math>
|-
| [[正規分布]]<br /> 既知の分散 <math>\sigma^2</math> || <math>\mu</math>
| <math>\frac{\mu}{\sigma} </math>
| <math>\sigma\eta </math>
| <math> \frac{e^{-\frac{x^2}{2\sigma^2}}}{\sqrt{2\pi}\sigma}</math>
| <math> \frac{x}{\sigma}</math>
| <math> \frac{\eta^2}{2}</math>
| <math> \frac{\mu^2}{2\sigma^2}</math>
|-
| [[正規分布]] || <math>\mu</math>, <math>\sigma^2</math>
| <math>\begin{bmatrix} \dfrac{\mu}{\sigma^2} \\[10pt] -\dfrac{1}{2\sigma^2} \end{bmatrix} </math>
| <math>\begin{bmatrix} -\dfrac{\eta_1}{2\eta_2} \\[15pt] -\dfrac{1}{2\eta_2} \end{bmatrix} </math>
| <math> \frac{1}{\sqrt{2\pi}} </math>
| <math> \begin{bmatrix} x \\ x^2 \end{bmatrix} </math>
| <math> -\frac{\eta_1^2}{4\eta_2} - \frac12\log(-2\eta_2)</math>
| <math> \frac{\mu^2}{2\sigma^2} + \log \sigma</math>
|-
| [[対数正規分布]] || <math>\mu</math>, <math>\sigma^2</math>
| <math>\begin{bmatrix} \dfrac{\mu}{\sigma^2} \\[10pt] -\dfrac{1}{2\sigma^2} \end{bmatrix} </math>
| <math>\begin{bmatrix} -\dfrac{\eta_1}{2\eta_2} \\[15pt] -\dfrac{1}{2\eta_2} \end{bmatrix} </math>
| <math> \frac{1}{\sqrt{2\pi}x} </math>
| <math> \begin{bmatrix} \log x \\ (\log x)^2 \end{bmatrix} </math>
| <math> -\frac{\eta_1^2}{4\eta_2} - \frac12\log(-2\eta_2)</math>
| <math> \frac{\mu^2}{2\sigma^2} + \log \sigma</math>
|-
| [[逆ガウス分布]] || <math>\mu</math>, <math>\lambda</math>
| <math>\begin{bmatrix} -\dfrac{\lambda}{2\mu^2} \\[15pt] -\dfrac{\lambda}{2} \end{bmatrix} </math>
| <math>\begin{bmatrix} \sqrt{\dfrac{\eta_2}{\eta_1}} \\[15pt] -2\eta_2 \end{bmatrix} </math>
| <math> \frac{1}{\sqrt{2\pi}x^{\frac{3}{2}}} </math>
| <math> \begin{bmatrix} x \\[5pt] \dfrac{1}{x} \end{bmatrix} </math>
| <math> 2\sqrt{\eta_1\eta_2} -\frac12\log(-2\eta_2)</math>
| <math> -\frac{\lambda}{\mu} -\frac12\log\lambda</math>
|-
| rowspan=2|[[ガンマ分布]] || <math>\alpha</math>, <math>\beta</math>
| <math>\begin{bmatrix} \alpha-1 \\ -\beta \end{bmatrix} </math>
| <math>\begin{bmatrix} \eta_1+1 \\ -\eta_2 \end{bmatrix} </math>
| rowspan=2|<math> 1 </math>
| rowspan=2|<math> \begin{bmatrix} \log x \\ x \end{bmatrix} </math>
| rowspan=2|<math> \log \Gamma(\eta_1+1)-(\eta_1+1)\log(-\eta_2)</math>
| <math> \log \Gamma(\alpha)-\alpha\log\beta</math>
|-
| <math>k</math>, <math>\theta</math>
| <math>\begin{bmatrix} k-1 \\[5pt] -\dfrac{1}{\theta} \end{bmatrix} </math>
| <math>\begin{bmatrix} \eta_1+1 \\[5pt] -\dfrac{1}{\eta_2} \end{bmatrix} </math>
| <math> \log \Gamma(k)+k\log\theta</math>
|-
| [[逆ガンマ分布]] || <math>\alpha</math>, <math>\beta</math>
| <math>\begin{bmatrix} -\alpha-1 \\ -\beta \end{bmatrix} </math>
| <math>\begin{bmatrix} -\eta_1-1 \\ -\eta_2 \end{bmatrix} </math>
| <math> 1 </math>
| <math> \begin{bmatrix} \log x \\ \frac{1}{x} \end{bmatrix} </math>
| <math> \log \Gamma(-\eta_1-1)-(-\eta_1-1)\log(-\eta_2)</math>
| <math> \log \Gamma(\alpha)-\alpha\log\beta</math>
|-
| [[一般化逆ガウス分布]] || <math>p</math>, <math>a</math>, <math>b</math>
| <math>\begin{bmatrix} p-1 \\ -a/2 \\ -b/2 \end{bmatrix} </math>
| <math>\begin{bmatrix} \eta_1+1 \\ -2\eta_2\\ -2\eta_3 \end{bmatrix} </math>
| <math> 1 </math>
| <math> \begin{bmatrix} \log x \\ x \\ \frac{1}{x} \end{bmatrix} </math>
| <math> \log 2 K_{\eta_1+1}(\sqrt{4\eta_2\eta_3}) - \frac{\eta_1+1}{2}\log\frac{\eta_2}{\eta_3}</math>
| <math> \log 2 K_{p}(\sqrt{ab}) - \frac{p}{2}\log\frac{a}{b}</math>
|-
| [[スケールされた逆カイ二乗分布]] || <math>\nu</math>, <math>\sigma^2</math>
| <math>\begin{bmatrix} -\dfrac{\nu}{2}-1 \\[10pt] -\dfrac{\nu\sigma^2}{2} \end{bmatrix} </math>
| <math>\begin{bmatrix} -2(\eta_1+1) \\[10pt] \dfrac{\eta_2}{\eta_1+1} \end{bmatrix} </math>
| <math> 1 </math>
| <math>\begin{bmatrix} \log x \\ \frac{1}{x} \end{bmatrix} </math>
| <math> \log \Gamma(-\eta_1-1)-(-\eta_1-1)\log(-\eta_2)</math>
| <math> \log \Gamma\left(\frac{\nu}{2}\right)-\frac{\nu}{2}\log\frac{\nu\sigma^2}{2}</math>
|-
| [[ベータ分布]] （variant 1) || <math>\alpha</math>, <math>\beta</math>
| <math>\begin{bmatrix} \alpha \\ \beta \end{bmatrix} </math>
| <math>\begin{bmatrix} \eta_1 \\ \eta_2 \end{bmatrix} </math>
| <math> \frac{1}{x(1-x)} </math>
| <math> \begin{bmatrix} \log x \\ \log (1-x)  \end{bmatrix} </math>
| <math> \log \Gamma(\eta_1) + \log \Gamma(\eta_2) - \log \Gamma(\eta_1+\eta_2)</math>
| <math> \log \Gamma(\alpha) + \log \Gamma(\beta) - \log \Gamma(\alpha+\beta)</math>
|-
| [[ベータ分布]] (variant 2) || <math>\alpha</math>, <math>\beta</math>
| <math>\begin{bmatrix} \alpha - 1 \\ \beta - 1 \end{bmatrix} </math>
| <math>\begin{bmatrix} \eta_1 + 1 \\ \eta_2 + 1 \end{bmatrix} </math>
| <math> 1 </math>
| <math> \begin{bmatrix} \log x \\ \log (1-x)  \end{bmatrix} </math>
| <math> \log \Gamma(\eta_1 + 1) + \log \Gamma(\eta_2 + 1) - \log \Gamma(\eta_1 + \eta_2 + 2)</math>
| <math> \log \Gamma(\alpha) + \log \Gamma(\beta) - \log \Gamma(\alpha+\beta)</math>
|-
| [[多変量正規分布]] || <math>\boldsymbol{\mu}</math>, <math>\boldsymbol{\sigma}</math>
| <math>\begin{bmatrix} \boldsymbol\Sigma^{-1}\boldsymbol\mu \\[5pt] -\frac12\boldsymbol\Sigma^{-1} \end{bmatrix}</math>
| <math>\begin{bmatrix} -\frac12\boldsymbol\eta_2^{-1}\boldsymbol\eta_1 \\[5pt] -\frac12\boldsymbol\eta_2^{-1} \end{bmatrix}</math>
| <math>(2\pi)^{-\frac{k}{2}}</math>
| <math>\begin{bmatrix} \mathbf{x} \\[5pt] \mathbf{x}\mathbf{x}^\mathrm{T} \end{bmatrix}</math>
| <math> -\frac{1}{4}\boldsymbol\eta_1^{\rm T}\boldsymbol\eta_2^{-1}\boldsymbol\eta_1 - \frac12\log\left|-2\boldsymbol\eta_2\right|</math>
| <math> \frac12\boldsymbol\mu^{\rm T}\boldsymbol\Sigma^{-1}\boldsymbol\mu + \frac12 \log |\boldsymbol\Sigma|</math>
|-
| [[カテゴリカル分布]] (variant 1)<ref group="注釈" name="iverson"><math>[x=i]</math> は[[アイバーソンの記法]]による（<math>x=i</math> ならば 1 そうでなければ 0）</ref>
| <math>p_1,\dots{},p_k</math><br /><br />where <math>\textstyle\sum_{i=1}^k p_i=1</math>
| <math>\begin{bmatrix} \log p_1 \\ \vdots \\ \log p_k \end{bmatrix}</math>
| <math>\begin{bmatrix} e^{\eta_1} \\ \vdots \\ e^{\eta_k} \end{bmatrix}</math><br /><br />where <math>\textstyle\sum_{i=1}^k e^{\eta_i}=1</math>
| <math> 1 </math>
| <math>\begin{bmatrix} [x=1] \\ \vdots \\ {[x=k]} \end{bmatrix} </math>
| <math> 0</math>
| <math> 0</math>
|-
| [[カテゴリカル分布]] (variant 2)<ref group="注釈" name=iverson />
| <math>p_1,\dots{},p_k</math><br /><br />where <math>\textstyle\sum_{i=1}^k p_i=1</math>
| <math>\begin{bmatrix} \log p_1+C \\ \vdots \\ \log p_k+C \end{bmatrix}</math>
| <math>\begin{bmatrix} \dfrac{1}{C}e^{\eta_1} \\ \vdots \\ \dfrac{1}{C}e^{\eta_k} \end{bmatrix} =</math><br />
<math>\begin{bmatrix} \dfrac{e^{\eta_1}}{\sum_{i=1}^{k}e^{\eta_i}} \\[10pt] \vdots \\[5pt] \dfrac{e^{\eta_k}}{\sum_{i=1}^{k}e^{\eta_i}} \end{bmatrix}</math>
where <math>\textstyle\sum_{i=1}^k e^{\eta_i}=C</math>
| <math> 1 </math>
| <math>\begin{bmatrix} [x=1] \\ \vdots \\ {[x=k]} \end{bmatrix} </math>
| <math> 0</math>
| <math> 0</math>
|-
| [[カテゴリカル分布]] (variant 3)<ref group="注釈" name=iverson />
| <math>p_1,\dots{},p_k</math><br /><br />where <math>p_k = 1 - \textstyle\sum_{i=1}^{k-1} p_i</math>
| <math>\begin{bmatrix} \log \dfrac{p_1}{p_k} \\[10pt] \vdots \\[5pt] \log \dfrac{p_{k-1}}{p_k} \\[15pt] 0 \end{bmatrix} =</math><br /><br /><math>\begin{bmatrix} \log \dfrac{p_1}{1-\sum_{i=1}^{k-1}p_i} \\[10pt] \vdots \\[5pt] \log \dfrac{p_{k-1}}{1-\sum_{i=1}^{k-1}p_i} \\[15pt] 0 \end{bmatrix}</math>
*This is the inverse [[softmax function]], a generalization of the [[logit function]].
| <math>\begin{bmatrix} \dfrac{e^{\eta_1}}{\sum_{i=1}^{k}e^{\eta_i}} \\[10pt] \vdots \\[5pt] \dfrac{e^{\eta_k}}{\sum_{i=1}^{k}e^{\eta_i}} \end{bmatrix} =</math><br /><br />
<math>\begin{bmatrix} \dfrac{e^{\eta_1}}{1+\sum_{i=1}^{k-1}e^{\eta_i}} \\[10pt] \vdots \\[5pt] \dfrac{e^{\eta_{k-1}}}{1+\sum_{i=1}^{k-1}e^{\eta_i}} \\[15pt] \dfrac{1}{1+\sum_{i=1}^{k-1}e^{\eta_i}} \end{bmatrix}</math>
*This is the [[softmax function]], a generalization of the [[logistic function]].
| <math> 1 </math>
| <math>\begin{bmatrix} [x=1] \\ \vdots \\ {[x=k]} \end{bmatrix} </math>
| <math> \log \left(\sum_{i=1}^{k} e^{\eta_i}\right) = \log \left(1+\sum_{i=1}^{k-1} e^{\eta_i}\right)
</math>
| <math> -\log p_k = -\log \left(1 - \sum_{i=1}^{k-1} p_i\right)</math>
|-
| [[多項分布]] (variant 1)<br />既知の試行回数 <math>n</math> || <math>p_1,\dots{},p_k</math><br /><br />where <math>\textstyle\sum_{i=1}^k p_i=1</math>
| <math>\begin{bmatrix} \log p_1 \\ \vdots \\ \log p_k \end{bmatrix}</math>
| <math>\begin{bmatrix} e^{\eta_1} \\ \vdots \\ e^{\eta_k} \end{bmatrix}</math><br /><br />where <math>\textstyle\sum_{i=1}^k e^{\eta_i}=1</math>
| <math> \frac{n!}{\prod_{i=1}^{k} x_i!} </math>
| <math>\begin{bmatrix} x_1 \\ \vdots \\ x_k \end{bmatrix} </math>
| <math> 0</math>
| <math> 0</math>
|-
| [[多項分布]] (variant 2)<br />既知の試行回数 <math>n</math> || <math>p_1,\dots{},p_k</math><br /><br />where <math>\textstyle\sum_{i=1}^k p_i=1</math>
| <math>\begin{bmatrix} \log p_1+C \\ \vdots \\ \log p_k+C \end{bmatrix}</math>
| <math>\begin{bmatrix} \dfrac{1}{C}e^{\eta_1} \\ \vdots \\ \dfrac{1}{C}e^{\eta_k} \end{bmatrix} =</math><br />
<math>\begin{bmatrix} \dfrac{e^{\eta_1}}{\sum_{i=1}^{k}e^{\eta_i}} \\[10pt] \vdots \\[5pt] \dfrac{e^{\eta_k}}{\sum_{i=1}^{k}e^{\eta_i}} \end{bmatrix}</math>

where <math>\textstyle\sum_{i=1}^k e^{\eta_i}=C</math>
| <math> \frac{n!}{\prod_{i=1}^{k} x_i!} </math>
| <math>\begin{bmatrix} x_1 \\ \vdots \\ x_k \end{bmatrix} </math>
| <math> 0</math>
| <math> 0</math>
|-
| [[多項分布]] (variant 3)<br />既知の試行回数 <math>n</math>
| <math>p_1,\dots{},p_k</math><br /><br />where <math>p_k = 1 - \textstyle\sum_{i=1}^{k-1} p_i</math>
| <math>\begin{bmatrix} \log \dfrac{p_1}{p_k} \\[10pt] \vdots \\[5pt] \log \dfrac{p_{k-1}}{p_k} \\[15pt] 0 \end{bmatrix} =</math><br /><br /><math>\begin{bmatrix} \log \dfrac{p_1}{1-\sum_{i=1}^{k-1}p_i} \\[10pt] \vdots \\[5pt] \log \dfrac{p_{k-1}}{1-\sum_{i=1}^{k-1}p_i} \\[15pt] 0 \end{bmatrix}</math>
| <math>\begin{bmatrix} \dfrac{e^{\eta_1}}{\sum_{i=1}^{k}e^{\eta_i}} \\[10pt] \vdots \\[5pt] \dfrac{e^{\eta_k}}{\sum_{i=1}^{k}e^{\eta_i}} \end{bmatrix} =</math><br /><br />
<math>\begin{bmatrix} \dfrac{e^{\eta_1}}{1+\sum_{i=1}^{k-1}e^{\eta_i}} \\[10pt] \vdots \\[5pt] \dfrac{e^{\eta_{k-1}}}{1+\sum_{i=1}^{k-1}e^{\eta_i}} \\[15pt] \dfrac{1}{1+\sum_{i=1}^{k-1}e^{\eta_i}} \end{bmatrix}</math>
| <math> \frac{n!}{\prod_{i=1}^{k} x_i!} </math>
| <math>\begin{bmatrix} x_1 \\ \vdots \\ x_k \end{bmatrix} </math>
| <math> n\log \left(\sum_{i=1}^{k} e^{\eta_i}\right) = n\log \left(1+\sum_{i=1}^{k-1} e^{\eta_i}\right)</math>
| <math> -n\log p_k = -n\log \left(1 - \sum_{i=1}^{k-1} p_i\right)</math>
|-
| [[ディリクレ分布]] (variant 1) || <math>\alpha_1,\dots{},\alpha_k</math>
| <math>\begin{bmatrix} \alpha_1 \\ \vdots \\ \alpha_k \end{bmatrix}</math>
| <math>\begin{bmatrix} \eta_1 \\ \vdots \\ \eta_k \end{bmatrix}</math>
| <math> \frac{1}{\prod_{i=1}^k x_i} </math>
| <math> \begin{bmatrix} \log x_1 \\ \vdots \\ \log x_k \end{bmatrix} </math>
| <math> \sum_{i=1}^k \log \Gamma(\eta_i) - \log \Gamma\left(\sum_{i=1}^k \eta_i \right) </math>
| <math> \sum_{i=1}^k \log \Gamma(\alpha_i) - \log \Gamma\left(\sum_{i=1}^k\alpha_i\right) </math>
|-
| [[ディリクレ分布]] (variant 2) || <math>\alpha_1,\dots{},\alpha_k</math>
| <math>\begin{bmatrix} \alpha_1 - 1 \\ \vdots \\ \alpha_k - 1 \end{bmatrix}</math>
| <math>\begin{bmatrix} \eta_1 + 1 \\ \vdots \\ \eta_k + 1 \end{bmatrix}</math>
| <math> 1 </math>
| <math> \begin{bmatrix} \log x_1 \\ \vdots \\ \log x_k \end{bmatrix} </math>
| <math> \sum_{i=1}^k \log \Gamma(\eta_i + 1) - \log \Gamma\left(\sum_{i=1}^k (\eta_i + 1) \right) </math>
| <math> \sum_{i=1}^k \log \Gamma(\alpha_i) - \log \Gamma\left(\sum_{i=1}^k\alpha_i\right) </math>
|-
| |[[ウィッシャート分布]]<ref group="注釈"><math>{\rm tr}(\mathbf{A}^{\rm T}\mathbf{B}) = \operatorname{vec}(\mathbf{A}) \cdot \operatorname{vec}(\mathbf{B})</math> を用いた。行列パラメータは指数形式に代入する際にベクトル化されているとものとする。また、'''V''' と '''X''' は対称行列であり、<math>\mathbf{V}^\top = \mathbf{V}</math> などとなる。</ref>|| <math>\mathbf{V}</math>, <math>n</math>
| <math>\begin{bmatrix} -\frac12\mathbf{V}^{-1} \\[5pt] \dfrac{n-p-1}{2} \end{bmatrix}</math>
| <math>\begin{bmatrix} -\frac12{\boldsymbol\eta_1}^{-1} \\[5pt] 2\eta_2+p+1 \end{bmatrix}</math>
| <math> 1 </math>
| <math> \begin{bmatrix} \mathbf{X} \\ \log|\mathbf{X}| \end{bmatrix} </math>
| <math>-\left(\eta_2+\frac{p+1}{2}\right)\log|-\boldsymbol\eta_1|</math><br />
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<math>+ \log\Gamma_p\left(\eta_2+\frac{p+1}{2}\right) =</math><br />
 <math>-\frac{n}{2}\log|-\boldsymbol\eta_1| + \log\Gamma_p\left(\frac{n}{2}\right) =</math><br />
 <math>\left(\eta_2+\frac{p+1}{2}\right)(p\log 2 + \log|\mathbf{V}|)</math><br />
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<math>+ \log\Gamma_p\left(\eta_2+\frac{p+1}{2}\right)</math>
*Three variants with different parameterizations are given, to facilitate computing moments of the sufficient statistics.
| <math> \frac{n}{2}(p\log 2 + \log|\mathbf{V}|) + \log\Gamma_p\left(\frac{n}{2}\right)</math>
|-
| [[逆ウィッシャート分布]] || <math>\boldsymbol{\Psi}</math>, <math>m</math>
| <math>\begin{bmatrix} -\frac12\boldsymbol{\Psi} \\[5pt] -\dfrac{m+p+1}{2} \end{bmatrix}</math>
| <math>\begin{bmatrix} -2\boldsymbol\eta_1 \\[5pt] -(2\eta_2+p+1) \end{bmatrix}</math>
| <math> 1 </math>
| <math> \begin{bmatrix} \mathbf{X}^{-1} \\ \log|\mathbf{X}| \end{bmatrix} </math>
| <math>
  \begin{align}
  &  \left(\eta_2 + \frac{p + 1}{2}\right)\log|-\boldsymbol\eta_1| + \log\Gamma_p\left(-\Big(\eta_2 + \frac{p + 1}{2}\Big)\right) \\
  & = -\frac{m}{2}\log|-\boldsymbol\eta_1| + \log\Gamma_p \left( \frac{m}{2} \right) \\
  & = -\left( \eta_2 + \frac{p + 1}{2} \right) (p\log 2 - \log|\boldsymbol\Psi|) + \log\Gamma_p\left(- \Big( \eta_2 + \frac{p + 1}{2} \Big) \right)
  \end{align}
 </math>
|<math>\frac{m}{2}(p\log 2 - \log|\boldsymbol\Psi|) + \log\Gamma_p\left(\frac{m}{2}\right)</math>
|-
| [[ガウス・ガンマ分布]] || <math>\alpha</math>, <math>\beta</math>, <math>\mu</math>, <math>\lambda</math>
| <math>\begin{bmatrix} \alpha-\frac12 \\ -\beta-\dfrac{\lambda\mu^2}{2} \\ \lambda\mu \\ -\dfrac{\lambda}{2}\end{bmatrix} </math>
| <math>\begin{bmatrix} \eta_1+\frac12 \\ -\eta_2 + \dfrac{\eta_3^2}{4\eta_4} \\ -\dfrac{\eta_3}{2\eta_4} \\ -2\eta_4 \end{bmatrix} </math>
| <math> \dfrac{1}{\sqrt{2\pi}} </math>
| <math> \begin{bmatrix} \log \tau \\ \tau \\ \tau x \\ \tau x^2 \end{bmatrix} </math>
| <math> \log \Gamma\left(\eta_1+\frac12\right) - \frac12\log\left(-2\eta_4\right) - </math><br />
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<math> - \left(\eta_1+\frac12\right)\log\left(-\eta_2 + \dfrac{\eta_3^2}{4\eta_4}\right)</math>
| <math> \log \Gamma\left(\alpha\right)-\alpha\log\beta-\frac12\log\lambda</math>
|}

== 統計における役割 ==
指数型分布族は、 [[一般化線形モデル]]で使用される分布関数の基礎を形成する。
一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。

== 脚注 ==
=== 注釈 ===
{{Reflist|group="注釈"}}

=== 出典 ===
{{Reflist|25em}}

== 参考文献 ==

* {{Cite book|last=Fahrmeir|first=Ludwig|last2=Tutz, G.|title=Multivariate Statistical Modelling based on Generalized Linear Models|publisher=Springer|year=1994|isbn=0-387-94233-5|pages=18&ndash;22, 345&ndash;349}}
* {{Cite book|last=Keener|first=Robert W.|title=Theoretical Statistics: Topics for a Core Course|publisher=Springer|year=2006|isbn=978-0-387-93838-7|pages=27&ndash;28, 32&ndash;33}}
* {{Cite book|last=Lehmann|first=E. L.|last2=Casella, G.|title=Theory of Point Estimation|year=1998|edition=2nd|isbn=0-387-98502-6|page=sec. 1.5}}

== 外部リンク ==

** [http://www.casact.org/pubs/dpp/dpp04/04dpp117.pdf A primer on the exponential family of distributions]
** [http://jeff560.tripod.com/e.html Exponential family of distributions] on the [http://jeff560.tripod.com/mathword.html Earliest known uses of some of the words of mathematics]
** [https://vincentfpgarcia.github.com/jMEF/ jMEF: A Java library for exponential families]

{{デフォルトソート:しすうかたふんふそく}}
[[Category:指数関数]]
[[Category:確率分布]]
[[Category:未査読の翻訳があるページ]]
[[Category:数学に関する記事]]