指数型分布族

指数型分布族（しすうがたぶんぷぞく）は、以下のように定義される、特定の形式の確率分布。有用な代数的特性を持つ。

指数型分布族の概念は、1935 – 1936年に、EJG Pitman、G. Darmois 、BO Koopmanらによって与えられた。

定義

指数型分布族に属する確率分布の例

指数型分布族には、最も一般的な分布の多くが含まれる。その一部を例示する。 テンプレート:Div col

• 正規分布
• 指数分布
• ガンマ分布
• カイ二乗分布
• ベータ分布
• ディリクレ分布
• ベルヌーイ分布
• テンプレート:仮リンク
• ポアソン分布
• ウィッシャート分布
• テンプレート:仮リンク
• 幾何分布

多くの一般的な分布が指数型分布族に属するが、それは特定のパラメーターが既知定数である場合に限られる。例えば：

二項分布

試行回数は固定

多項分布

試行回数は固定

負の二項分布

失敗回数は固定

いずれの場合も、固定する必要のあるパラメーターが観測値のサイズを制限している。

一般的な分布のうち、指数型分布族ではないものとして、 スチューデントの t 分布、ほとんどの混合分布、範囲が固定されていない場合の均一分布が挙げられる。

スカラーパラメータ

単一の実数パラメータに基づく指数型分布族では、 確率密度関数 （離散分布の場合は確率質量関数）が次の形式で表現できる。

$f_X(x\mid \theta )=h(x)\exp [\eta (\theta )\cdot T(x)-A(\theta )]$

ここで、 $T(x)$、$h(x)$、$\eta (\theta )$、$A(\theta )$ はいずれも既知の関数である。

しばしば次のように同等の形式で記述される。

$f_X(x\mid \theta )=h(x)g(\theta )\exp [\eta (\theta )\cdot T(x)]$

次のように記述しても同等である。

$f_X(x\mid \theta )=\exp [\eta (\theta )\cdot T(x)-A(\theta )+B(x)]$

$\theta$ は指数型分布族のパラメータと呼ばれる。

$\eta (\theta )=\theta$ の場合、指数型分布族は正準型（canonical form）であるという。 変換後のパラメータ $\eta =\eta (\theta )$ をパラメータとして用いることにより、指数型分布族を正準型に変換することができる。

指数型分布族が正準型であるときのパラメータを自然パラメータ（natural parameter）と呼ぶ。

関連する変数の因数分解

すべての指数型分布族は、単一パラメーターによる指数型分布族の積に分解できる。

ベクトルパラメータ

単一の実数パラメータに基づく指数型分布族を、複数の実数パラメータ（下記ベクトル）に基づく指数型分布族に拡張できる。

$\mathit{\theta }={({\theta }_1,{\theta }_2,\dots ,{\theta }_s)}^{⊺}.$

確率密度関数（または離散分布の場合は確率質量関数）が次のように記述できる場合、ベクトル指数型分布族に属している。

$f_X(x\mid \mathit{\theta })=h(x)\exp (\sum _{i=1}^s{\eta }_i(\mathit{\theta })\cdot T_i(x)-A(\mathit{\theta }))$

またはもっとコンパクトな形で

$f_X(x\mid \mathit{\theta })=h(x)\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(x)-A(\mathit{\theta }))$

下記のように記載されることも多い。

$f_X(x\mid \mathit{\theta })=h(x)g(\mathit{\theta })\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(x))$

スカラー値の場合と同様に、ベクトル指数型分布族は次の場合に正準型と呼ばれる。

$\mathrm{\forall }i:{\eta }_i({\theta }_i)={\theta }_i.$

ベクトルパラメータ、ベクトル変数

単一の確率変数に対する指数型分布族は、複数の確率変数に対する指数型分布族に拡張できる。

複数の確率変数を次のように記述すると、

$𝐱=(x_1,x_2,\dots ,x_k).$

指数型分布族の確率分布は次のように記述される。

$f_X(𝐱\mid \mathit{\theta })=h(𝐱)\exp (\sum _{i=1}^s{\eta }_i(\mathit{\theta })\cdot T_i(𝐱)-A(\mathit{\theta }))$

またはもっとコンパクトな形で

$f_X(𝐱\mid \mathit{\theta })=h(𝐱)\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(𝐱)-A(\mathit{\theta }))$

次のように記述されることも多い。

$f_X(𝐱\mid \mathit{\theta })=h(𝐱)g(\mathit{\theta })\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(𝒙))$

性質

指数型分布族には、統計分析に非常に役立つ多数の性質がある。 多くの場合、これらの特性を持つのは指数型分布族のみである。 例：

• 共役事前分布を持つ

例

正規分布、指数分布、 対数正規分布、ガンマ分布、カイ二乗分布、ベータ分布、ディリクレ分布、ベルヌーイ分布、カテゴリカル分布、ポアソン分布、幾何分布、逆ガウス分布、フォン・ミーゼス分布、フォンミーゼス-フィッシャー分布はすべて指数型分布族に属する。

正規分布：未知の平均、既知の分散

未知の平均値 $\mu$ と既知の分散 ${\sigma }^2$ による正規分布を考える。 確率密度関数は

$f_{\sigma }(x;\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2}).$

これは、次のように設定することで、単一パラメーターの指数型分布族であることが分かる。

$\begin{array}{cc}{h}_{\sigma }(x)& =\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{x^2}{2{\sigma }^2})\\ T_{\sigma }(x)& =\frac{x}{\sigma }\\ A_{\sigma }(\mu )& =\frac{{\mu }^2}{2{\sigma }^2}\\ {\eta }_{\sigma }(\mu )& =\frac{\mu }{\sigma }.\end{array}$

${\sigma }^2=1$、すなわち ${\eta }_{\sigma }(\mu )=\mu$ の場合、これは正準型となる。

正規分布：未知の平均と分散

未知の平均 $\mu$ と未知の分散 ${\sigma }^2$ を持つ正規分布の場合を考える。 確率密度関数は

$f(x;\mu ,\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2}).$

これは、次のように設定することで、指数型分布族であることが分かる。

$\begin{array}{cc}\mathit{\eta }& ={(\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2})}^{\mathrm{T}}\\ h(x)& =\frac{1}{\sqrt{2\pi }}\\ T(x)& ={(x,x^2)}^{\mathrm{T}}\\ A(\mathit{\eta })& =\frac{{\mu }^2}{2{\sigma }^2}+\log |\sigma |=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log \left|\frac{1}{2{\eta }_2}\right|\end{array}$

二項分布：既知の試行回数

離散変数を対象とする指数型分布族の例として、試行回数 $n$ が既知の二項分布を考える。

この分布の確率質量関数は

$f(x)=(\genfrac{}{}{0ex}{}{n}{x})p^x(1-p{)}^{n-x},x\in \{0,1,2,\dots ,n\}.$

これは同等に次のように書くことができる。

$f(x)=(\genfrac{}{}{0ex}{}{n}{x})\exp (x\log \left(\frac{p}{1-p}\right)+n\log (1-p)),x\in \{0,1,2,\dots ,n\}.$

二項分布は指数型分布族であり、その自然パラメーター $\eta$ は

$\eta =\log \frac{p}{1-p}.$

となる。 この $p$ の関数はロジットと呼ばれる。

分布表

次の表は、多くの一般的な分布を、正準型の指数型分布族として書き換える方法を示している。

スカラー変数とスカラーパラメータの場合：

$f_X(x\mid \theta )=h(x)\exp (\eta (\theta )T(x)-A(\eta ))$

スカラー変数とベクトルパラメータの場合：

$f_X(x\mid \mathit{\theta })=h(x)\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(x)-A(\mathit{\eta }))$

$f_X(x\mid \mathit{\theta })=h(x)g(\mathit{\theta })\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(x))$

ベクトル変数とベクトルパラメータの場合：

$f_X(𝐱\mid \mathit{\theta })=h(𝐱)\exp (\mathit{\eta }(\mathit{\theta }{)}^{⊺}𝑻(𝒙)-A(\mathit{\eta }))$

確率分布	パラメータ $\mathit{\theta }$	自然パラメータ $\mathit{\eta }$	パラメータの逆写像	Base measure $h(x)$	十分統計量 $T(x)$	Log-partition $A(\mathit{\eta })$	Log-partition $A(\mathit{\theta })$
ベルヌーイ分布	$p$	$\log \frac{p}{1-p}$	$\frac{1}{1+e^{-\eta }}=\frac{e^{\eta }}{1+e^{\eta }}$	$1$	$x$	$\log (1+e^{\eta })$	$-\log (1-p)$
二項分布 既知の試行回数 $n$	$p$	$\log \frac{p}{1-p}$	$\frac{1}{1+e^{-\eta }}=\frac{e^{\eta }}{1+e^{\eta }}$	$(\genfrac{}{}{0ex}{}{n}{x})$	$x$	$n\log (1+e^{\eta })$	$-n\log (1-p)$
ポアソン分布	$\lambda$	$\log \lambda$	$e^{\eta }$	$\frac{1}{x!}$	$x$	$e^{\eta }$	$\lambda$
負の二項分布 with known number of failures $r$	$p$	$\log p$	$e^{\eta }$	$(\genfrac{}{}{0ex}{}{x+r-1}{x})$	$x$	$-r\log (1-e^{\eta })$	$-r\log (1-p)$
指数分布	$\lambda$	$-\lambda$	$-\eta$	$1$	$x$	$-\log (-\eta )$	$-\log \lambda$
パレート分布 with known minimum value $x_m$	$\alpha$	$-\alpha -1$	$-1-\eta$	$1$	$\log x$	$-\log (-1-\eta )+(1+\eta )\log x_{\mathrm{m}}$	$-\log \alpha -\alpha \log x_{\mathrm{m}}$
ワイブル分布 with known shape $k$	$\lambda$	$-\frac{1}{{\lambda }^k}$	$(-\eta {)}^{-\frac{1}{k}}$	$x^{k-1}$	$x^k$	$-\log (-\eta )-\log k$	$k\log \lambda -\log k$
ラプラス分布 既知の平均 $\mu$	$b$	$-\frac{1}{b}$	$-\frac{1}{\eta }$	$1$	$|x-\mu |$	$\log (-\frac{2}{\eta })$	$\log 2b$
カイ二乗分布	$\nu$	$\frac{\nu }{2}-1$	$2(\eta +1)$	$e^{-\frac{x}{2}}$	$\log x$	$\log \mathrm{\Gamma }(\eta +1)+(\eta +1)\log 2$	$\log \mathrm{\Gamma }\left(\frac{\nu }{2}\right)+\frac{\nu }{2}\log 2$
正規分布 既知の分散 ${\sigma }^2$	$\mu$	$\frac{\mu }{\sigma }$	$\sigma \eta$	$\frac{e^{-\frac{x^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma }$	$\frac{x}{\sigma }$	$\frac{{\eta }^2}{2}$	$\frac{{\mu }^2}{2{\sigma }^2}$
正規分布	$\mu$, ${\sigma }^2$	$\left[\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right]$	$\left[\begin{array}{c}-\frac{{\eta }_1}{2{\eta }_2}\\ -\frac{1}{2{\eta }_2}\end{array}\right]$	$\frac{1}{\sqrt{2\pi }}$	$\left[\begin{array}{c}x\\ x^2\end{array}\right]$	$-\frac{{\eta }_1^2}{4{\eta }_2}-\frac{1}{2}\log (-2{\eta }_2)$	$\frac{{\mu }^2}{2{\sigma }^2}+\log \sigma$
対数正規分布	$\mu$, ${\sigma }^2$	$\left[\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right]$	$\left[\begin{array}{c}-\frac{{\eta }_1}{2{\eta }_2}\\ -\frac{1}{2{\eta }_2}\end{array}\right]$	$\frac{1}{\sqrt{2\pi }x}$	$\left[\begin{array}{c}\log x\\ (\log x{)}^2\end{array}\right]$	$-\frac{{\eta }_1^2}{4{\eta }_2}-\frac{1}{2}\log (-2{\eta }_2)$	$\frac{{\mu }^2}{2{\sigma }^2}+\log \sigma$
逆ガウス分布	$\mu$, $\lambda$	$\left[\begin{array}{c}-\frac{\lambda }{2{\mu }^2}\\ -\frac{\lambda }{2}\end{array}\right]$	$\left[\begin{array}{c}\sqrt{\frac{{\eta }_2}{{\eta }_1}}\\ -2{\eta }_2\end{array}\right]$	$\frac{1}{\sqrt{2\pi }{x}^{\frac{3}{2}}}$	$\left[\begin{array}{c}x\\ \frac{1}{x}\end{array}\right]$	$2\sqrt{{\eta }_1{\eta }_2}-\frac{1}{2}\log (-2{\eta }_2)$	$-\frac{\lambda }{\mu }-\frac{1}{2}\log \lambda$
ガンマ分布	$\alpha$, $\beta$	$\left[\begin{array}{c}\alpha -1\\ -\beta \end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ -{\eta }_2\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ x\end{array}\right]$	$\log \mathrm{\Gamma }({\eta }_1+1)-({\eta }_1+1)\log (-{\eta }_2)$	$\log \mathrm{\Gamma }(\alpha )-\alpha \log \beta$
	$k$, $\theta$	$\left[\begin{array}{c}k-1\\ -\frac{1}{\theta }\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ -\frac{1}{{\eta }_2}\end{array}\right]$				$\log \mathrm{\Gamma }(k)+k\log \theta$
逆ガンマ分布	$\alpha$, $\beta$	$\left[\begin{array}{c}-\alpha -1\\ -\beta \end{array}\right]$	$\left[\begin{array}{c}-{\eta }_1-1\\ -{\eta }_2\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ \frac{1}{x}\end{array}\right]$	$\log \mathrm{\Gamma }(-{\eta }_1-1)-(-{\eta }_1-1)\log (-{\eta }_2)$	$\log \mathrm{\Gamma }(\alpha )-\alpha \log \beta$
一般化逆ガウス分布	$p$, $a$, $b$	$\left[\begin{array}{c}p-1\\ -a/2\\ -b/2\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ -2{\eta }_2\\ -2{\eta }_3\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ x\\ \frac{1}{x}\end{array}\right]$	$\log 2K_{{\eta }_1+1}(\sqrt{4{\eta }_2{\eta }_3})-\frac{{\eta }_1+1}{2}\log \frac{{\eta }_2}{{\eta }_3}$	$\log 2K_p(\sqrt{ab})-\frac{p}{2}\log \frac{a}{b}$
スケールされた逆カイ二乗分布	$\nu$, ${\sigma }^2$	$\left[\begin{array}{c}-\frac{\nu }{2}-1\\ -\frac{\nu {\sigma }^2}{2}\end{array}\right]$	$\left[\begin{array}{c}-2({\eta }_1+1)\\ \frac{{\eta }_2}{{\eta }_1+1}\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ \frac{1}{x}\end{array}\right]$	$\log \mathrm{\Gamma }(-{\eta }_1-1)-(-{\eta }_1-1)\log (-{\eta }_2)$	$\log \mathrm{\Gamma }\left(\frac{\nu }{2}\right)-\frac{\nu }{2}\log \frac{\nu {\sigma }^2}{2}$
ベータ分布 （variant 1)	$\alpha$, $\beta$	$\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]$	$\left[\begin{array}{c}{\eta }_1\\ {\eta }_2\end{array}\right]$	$\frac{1}{x(1-x)}$	$\left[\begin{array}{c}\log x\\ \log (1-x)\end{array}\right]$	$\log \mathrm{\Gamma }({\eta }_1)+\log \mathrm{\Gamma }({\eta }_2)-\log \mathrm{\Gamma }({\eta }_1+{\eta }_2)$	$\log \mathrm{\Gamma }(\alpha )+\log \mathrm{\Gamma }(\beta )-\log \mathrm{\Gamma }(\alpha +\beta )$
ベータ分布 (variant 2)	$\alpha$, $\beta$	$\left[\begin{array}{c}\alpha -1\\ \beta -1\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ {\eta }_2+1\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ \log (1-x)\end{array}\right]$	$\log \mathrm{\Gamma }({\eta }_1+1)+\log \mathrm{\Gamma }({\eta }_2+1)-\log \mathrm{\Gamma }({\eta }_1+{\eta }_2+2)$	$\log \mathrm{\Gamma }(\alpha )+\log \mathrm{\Gamma }(\beta )-\log \mathrm{\Gamma }(\alpha +\beta )$
多変量正規分布	$\mathit{\mu }$, $\mathit{\sigma }$	$\left[\begin{array}{c}{\mathrm{\Sigma }}^{-1}\mathit{\mu }\\ -\frac{1}{2}{\mathrm{\Sigma }}^{-1}\end{array}\right]$	$\left[\begin{array}{c}-\frac{1}{2}{\mathit{\eta }}_2^{-1}{\mathit{\eta }}_1\\ -\frac{1}{2}{\mathit{\eta }}_2^{-1}\end{array}\right]$	$(2\pi {)}^{-\frac{k}{2}}$	$\left[\begin{array}{c}𝐱\\ 𝐱{𝐱}^{\mathrm{T}}\end{array}\right]$	$-\frac{1}{4}{\mathit{\eta }}_1^{\mathrm{T}}{\mathit{\eta }}_2^{-1}{\mathit{\eta }}_1-\frac{1}{2}\log |-2{\mathit{\eta }}_2|$	$\frac{1}{2}{\mathit{\mu }}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}\mathit{\mu }+\frac{1}{2}\log |\mathrm{\Sigma }|$
カテゴリカル分布 (variant 1)	$p_1,\dots ,p_k$ where ${\sum }_{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1\\ ⋮\\ \log p_k\end{array}\right]$	$\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]$ where ${\sum }_{i=1}^k{e}^{{\eta }_i}=1$	$1$	$\left[\begin{array}{c}[x=1]\\ ⋮\\ [x=k]\end{array}\right]$	$0$	$0$
カテゴリカル分布 (variant 2)	$p_1,\dots ,p_k$ where ${\sum }_{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1+C\\ ⋮\\ \log p_k+C\end{array}\right]$	$\left[\begin{array}{c}\frac{1}{C}{e}^{{\eta }_1}\\ ⋮\\ \frac{1}{C}{e}^{{\eta }_k}\end{array}\right]=$ $\left[\begin{array}{c}\frac{e^{{\eta }_1}}{\sum _{i=1}^k{e}^{{\eta }_i}}\\ ⋮\\ \frac{e^{{\eta }_k}}{\sum _{i=1}^k{e}^{{\eta }_i}}\end{array}\right]$ where ${\sum }_{i=1}^k{e}^{{\eta }_i}=C$	$1$	$\left[\begin{array}{c}[x=1]\\ ⋮\\ [x=k]\end{array}\right]$	$0$	$0$
カテゴリカル分布 (variant 3)	$p_1,\dots ,p_k$ where $p_k=1-{\sum }_{i=1}^{k-1}{p}_i$	$\left[\begin{array}{c}\log \frac{p_1}{p_k}\\ ⋮\\ \log \frac{p_{k-1}}{p_k}\\ 0\end{array}\right]=$ $\left[\begin{array}{c}\log \frac{p_1}{1-\sum _{i=1}^{k-1}{p}_i}\\ ⋮\\ \log \frac{p_{k-1}}{1-\sum _{i=1}^{k-1}{p}_i}\\ 0\end{array}\right]$ This is the inverse softmax function, a generalization of the logit function.	$\left[\begin{array}{c}\frac{e^{{\eta }_1}}{\sum _{i=1}^k{e}^{{\eta }_i}}\\ ⋮\\ \frac{e^{{\eta }_k}}{\sum _{i=1}^k{e}^{{\eta }_i}}\end{array}\right]=$ $\left[\begin{array}{c}\frac{e^{{\eta }_1}}{1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}}\\ ⋮\\ \frac{e^{{\eta }_{k-1}}}{1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}}\\ \frac{1}{1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}}\end{array}\right]$ This is the softmax function, a generalization of the logistic function.	$1$	$\left[\begin{array}{c}[x=1]\\ ⋮\\ [x=k]\end{array}\right]$	$\log \left(\sum _{i=1}^k{e}^{{\eta }_i}\right)=\log (1+\sum _{i=1}^{k-1}{e}^{{\eta }_i})$	$-\log p_k=-\log (1-\sum _{i=1}^{k-1}{p}_i)$
多項分布 (variant 1) 既知の試行回数 $n$	$p_1,\dots ,p_k$ where ${\sum }_{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1\\ ⋮\\ \log p_k\end{array}\right]$	$\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]$ where ${\sum }_{i=1}^k{e}^{{\eta }_i}=1$	$\frac{n!}{\prod _{i=1}^k{x}_i!}$	$\left[\begin{array}{c}{x}_1\\ ⋮\\ x_k\end{array}\right]$	$0$	$0$
多項分布 (variant 2) 既知の試行回数 $n$	$p_1,\dots ,p_k$ where ${\sum }_{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1+C\\ ⋮\\ \log p_k+C\end{array}\right]$	$\left[\begin{array}{c}\frac{1}{C}{e}^{{\eta }_1}\\ ⋮\\ \frac{1}{C}{e}^{{\eta }_k}\end{array}\right]=$ $\left[\begin{array}{c}\frac{e^{{\eta }_1}}{\sum _{i=1}^k{e}^{{\eta }_i}}\\ ⋮\\ \frac{e^{{\eta }_k}}{\sum _{i=1}^k{e}^{{\eta }_i}}\end{array}\right]$ where ${\sum }_{i=1}^k{e}^{{\eta }_i}=C$	$\frac{n!}{\prod _{i=1}^k{x}_i!}$	$\left[\begin{array}{c}{x}_1\\ ⋮\\ x_k\end{array}\right]$	$0$	$0$
多項分布 (variant 3) 既知の試行回数 $n$	$p_1,\dots ,p_k$ where $p_k=1-{\sum }_{i=1}^{k-1}{p}_i$	$\left[\begin{array}{c}\log \frac{p_1}{p_k}\\ ⋮\\ \log \frac{p_{k-1}}{p_k}\\ 0\end{array}\right]=$ $\left[\begin{array}{c}\log \frac{p_1}{1-\sum _{i=1}^{k-1}{p}_i}\\ ⋮\\ \log \frac{p_{k-1}}{1-\sum _{i=1}^{k-1}{p}_i}\\ 0\end{array}\right]$	$\left[\begin{array}{c}\frac{e^{{\eta }_1}}{\sum _{i=1}^k{e}^{{\eta }_i}}\\ ⋮\\ \frac{e^{{\eta }_k}}{\sum _{i=1}^k{e}^{{\eta }_i}}\end{array}\right]=$ $\left[\begin{array}{c}\frac{e^{{\eta }_1}}{1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}}\\ ⋮\\ \frac{e^{{\eta }_{k-1}}}{1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}}\\ \frac{1}{1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}}\end{array}\right]$	$\frac{n!}{\prod _{i=1}^k{x}_i!}$	$\left[\begin{array}{c}{x}_1\\ ⋮\\ x_k\end{array}\right]$	$n\log \left(\sum _{i=1}^k{e}^{{\eta }_i}\right)=n\log (1+\sum _{i=1}^{k-1}{e}^{{\eta }_i})$	$-n\log p_k=-n\log (1-\sum _{i=1}^{k-1}{p}_i)$
ディリクレ分布 (variant 1)	${\alpha }_1,\dots ,{\alpha }_k$	$\left[\begin{array}{c}{\alpha }_1\\ ⋮\\ {\alpha }_k\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1\\ ⋮\\ {\eta }_k\end{array}\right]$	$\frac{1}{\prod _{i=1}^k{x}_i}$	$\left[\begin{array}{c}\log x_1\\ ⋮\\ \log x_k\end{array}\right]$	$\sum _{i=1}^k\log \mathrm{\Gamma }({\eta }_i)-\log \mathrm{\Gamma }\left(\sum _{i=1}^k{\eta }_i\right)$	$\sum _{i=1}^k\log \mathrm{\Gamma }({\alpha }_i)-\log \mathrm{\Gamma }\left(\sum _{i=1}^k{\alpha }_i\right)$
ディリクレ分布 (variant 2)	${\alpha }_1,\dots ,{\alpha }_k$	$\left[\begin{array}{c}{\alpha }_1-1\\ ⋮\\ {\alpha }_k-1\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ ⋮\\ {\eta }_k+1\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x_1\\ ⋮\\ \log x_k\end{array}\right]$	$\sum _{i=1}^k\log \mathrm{\Gamma }({\eta }_i+1)-\log \mathrm{\Gamma }(\sum _{i=1}^k({\eta }_i+1))$	$\sum _{i=1}^k\log \mathrm{\Gamma }({\alpha }_i)-\log \mathrm{\Gamma }\left(\sum _{i=1}^k{\alpha }_i\right)$
ウィッシャート分布	$𝐕$, $n$	$\left[\begin{array}{c}-\frac{1}{2}{𝐕}^{-1}\\ \frac{n-p-1}{2}\end{array}\right]$	$\left[\begin{array}{c}-\frac{1}{2}{{\mathit{\eta }}_1}^{-1}\\ 2{\eta }_2+p+1\end{array}\right]$	$1$	$\left[\begin{array}{c}𝐗\\ \log |𝐗|\end{array}\right]$	$-({\eta }_2+\frac{p+1}{2})\log |-{\mathit{\eta }}_1|$       $+\log {\mathrm{\Gamma }}_p({\eta }_2+\frac{p+1}{2})=$ $-\frac{n}{2}\log |-{\mathit{\eta }}_1|+\log {\mathrm{\Gamma }}_p\left(\frac{n}{2}\right)=$ $({\eta }_2+\frac{p+1}{2})(p\log 2+\log |𝐕|)$       $+\log {\mathrm{\Gamma }}_p({\eta }_2+\frac{p+1}{2})$ Three variants with different parameterizations are given, to facilitate computing moments of the sufficient statistics.	$\frac{n}{2}(p\log 2+\log |𝐕|)+\log {\mathrm{\Gamma }}_p\left(\frac{n}{2}\right)$
逆ウィッシャート分布	$\mathrm{\Psi }$, $m$	$\left[\begin{array}{c}-\frac{1}{2}\mathrm{\Psi }\\ -\frac{m+p+1}{2}\end{array}\right]$	$\left[\begin{array}{c}-2{\mathit{\eta }}_1\\ -(2{\eta }_2+p+1)\end{array}\right]$	$1$	$\left[\begin{array}{c}{𝐗}^{-1}\\ \log |𝐗|\end{array}\right]$	$\begin{array}{cc}& ({\eta }_2+\frac{p+1}{2})\log |-{\mathit{\eta }}_1|+\log {\mathrm{\Gamma }}_p(-({\eta }_2+\frac{p+1}{2}\left)\right)\\ & =-\frac{m}{2}\log |-{\mathit{\eta }}_1|+\log {\mathrm{\Gamma }}_p\left(\frac{m}{2}\right)\\ & =-({\eta }_2+\frac{p+1}{2})(p\log 2-\log |\mathrm{\Psi }|)+\log {\mathrm{\Gamma }}_p(-({\eta }_2+\frac{p+1}{2}\left)\right)\end{array}$	$\frac{m}{2}(p\log 2-\log |\mathrm{\Psi }|)+\log {\mathrm{\Gamma }}_p\left(\frac{m}{2}\right)$
ガウス・ガンマ分布	$\alpha$, $\beta$, $\mu$, $\lambda$	$\left[\begin{array}{c}\alpha -\frac{1}{2}\\ -\beta -\frac{\lambda {\mu }^2}{2}\\ \lambda \mu \\ -\frac{\lambda }{2}\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+\frac{1}{2}\\ -{\eta }_2+\frac{{\eta }_3^2}{4{\eta }_4}\\ -\frac{{\eta }_3}{2{\eta }_4}\\ -2{\eta }_4\end{array}\right]$	$\frac{1}{\sqrt{2\pi }}$	$\left[\begin{array}{c}\log \tau \\ \tau \\ \tau x\\ \tau x^2\end{array}\right]$	$\log \mathrm{\Gamma }({\eta }_1+\frac{1}{2})-\frac{1}{2}\log (-2{\eta }_4)-$       $-({\eta }_1+\frac{1}{2})\log (-{\eta }_2+\frac{{\eta }_3^2}{4{\eta }_4})$	$\log \mathrm{\Gamma }\left(\alpha \right)-\alpha \log \beta -\frac{1}{2}\log \lambda$

統計における役割

指数型分布族は、 一般化線形モデルで使用される分布関数の基礎を形成する。 一般化線形モデルは、統計で一般的に使用される回帰モデルの多くを含む。

参考文献

• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite book

外部リンク

• • A primer on the exponential family of distributions
  • Exponential family of distributions on the Earliest known uses of some of the words of mathematics
  • jMEF: A Java library for exponential families