微分エントロピーのソースを表示

{{情報理論}}

'''微分エントロピー'''（びぶんエントロピー、{{Lang-en-short|differential entropy}}）または連続エントロピー（continuous entropy）は[[情報理論]]における概念で、シャノン[[情報量]]（[[確率変数]]が持つ平均的{{仮リンク|自己情報量|en|surprisal}}の尺度）を連続型[[確率分布]]にまで拡張する[[クロード・シャノン]]の試みに端を発する。情報量の概念を連続量まで真に拡張したものに {{仮リンク|limiting density of discrete points|en|limiting density of discrete points}}（LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。

==定義==
<math>X</math> を、[[確率密度関数]] <math>f</math> の[[関数の台]]が <math>\mathcal X</math> である確率変数とする。'''微分エントロピー''' <math>h(X)</math> または <math>h(f)</math> は

{{Equation box 1
|indent =
|title=
|equation = <math>h(X) = -\int_\mathcal{X} f(x)\log f(x)\,dx</math>
|cellpadding= 6
|border
|border colour = #0073CF
|background colour=#F5FFFA}}

と定義される<ref name="cover_thomas">, {{cite book |first1=Thomas M.|first2=Joy A.|last1=Cover |last2=Thomas|isbn=0-471-06259-6|title=Elements of Information Theory |year=1991|publisher=Wiley |location=New York|url=https://pdfs.semanticscholar.org/881c/f0ccc5a9dbb772d5a07671773f3c14b551c2.pdf}}</ref>{{rp|243}}。

明示的な確率密度関数は持っていないが、明示的な{{仮リンク|分位点関数|en|quantile function}}表示 <math>Q(p)</math> を持っている確率変数（確率分布）に対しては <math>h(Q)</math> を <math>Q(p)</math> の微分として定義できる。つまり、分位点密度関数 <math>Q'(p)</math> により

:<math>h(Q) = \int_0^1 \log Q'(p)\,dp</math>

と定義する<ref>{{Citation |last1=Vasicek  |first1=Oldrich |year=1976 |title=A Test for Normality Based on Sample Entropy |journal=[[Journal of the Royal Statistical Society, Series B]] |volume=38 |issue=1 |jstor=2984828 |postscript=. }}</ref>{{rp|54–59}}。

離散型の場合と類似して、微分エントロピーの単位は[[対数]]の底に依存する（通常は底を2とし、単位は[[ビット]]とする）。対数の底による違いについては [[:en:logarithmic units]] を参照。関連した概念である[[結合エントロピー|結合]]、{{仮リンク|条件付きエントロピー|label=条件付き|en|conditional entropy|preserve=1}}、[[カルバック・ライブラー情報量|相対]]微分エントロピーも同様に定義される。

離散的な場合とは異なり、微分エントロピーには <math>X</math> の計測単位に依存して横ずれが生じる<ref name="gibbs">{{cite book |last=Gibbs |first=Josiah Willard |authorlink=Josiah Willard Gibbs |title=[[Elementary Principles in Statistical Mechanics|Elementary Principles in Statistical Mechanics, developed with especial reference to the rational foundation of thermodynamics]] |year=1902 |publisher=Charles Scribner's Sons |location=New York}}</ref>{{rp|183-184}}。例えば、ある量をミリメートルで測ったときの微分エントロピーは、同じ量をメートルで測ったときよりも log(1000) だけ大きな値になる。無次元量の微分エントロピーは、その 1/1000 を計量の基本単位として表示したときの微分エントロピーよりも log(1000) だけ大きな値になる。

確率密度関数は1を超える値をとり得るから、離散的なエントロピーの性質を微分エントロピーにも適用するときは注意を要する。例えば、[[一様分布]] <math>\mathcal{U}(0,1/2)</math> は'''負の'''微分エントロピー

:<math>\int_0^\frac{1}{2} -2\log(2)\,dx=-\log(2)</math>

を持つ。

一方で[[相互情報量]] <math>I(X;Y)</math> は、連続量に対しても2情報の依存度合の尺度として基本的に重要である。この量は実質的に、離散的な <math>X</math> と <math>Y</math> にそれぞれ「分割（partition）」を施していき、分割幅を限りなく細かくしていったときの極限に相当するからである。<math>I(X;Y)</math> は <math>X</math> と <math>Y</math> を線形な[[位相同型]]（自身および逆が連続である写像）で変換しても不変である<ref name = Reza>{{ cite book | title = An Introduction to Information Theory | author = Fazlollah M. Reza | publisher = Dover Publications, Inc., New York | origyear = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&pg=PA8&dq=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&as_brr=0&ei=zP79Ro7UBovqoQK4g_nCCw&sig=j3lPgyYrC3-bvn1Td42TZgTzj0Q }}</ref>ばかりでなく非線形同型写像による変換の下でも不変である<ref>{{cite journal
 | first = Alexander
 | last = Kraskov
 |author2=Stögbauer, Grassberger
 | year = 2004
 | title = Estimating mutual information
 | journal = [[Physical Review E]]
 | volume = 60
 | pages = 066138
 | doi =10.1103/PhysRevE.69.066138
|arxiv = cond-mat/0305641 |bibcode = 2004PhRvE..69f6138K }}</ref>。相互情報量は、空間的に連続的な値を許すような伝送を介する状況下での2情報量の関係を表現することができる。

離散的なエントロピーが持つ性質の微分エントロピーへの拡張については [[:en:limiting density of discrete points]] を参照。

==微分エントロピーの性質==
* 確率密度関数 <math>f</math> と <math>g</math> に対し[[カルバック・ライブラー情報量]] <math>D_{KL}(f || g)</math> は 0 以上であり、0 と一致するのは[[ほとんど (数学)|ほとんど至るところで]] <math>f=g</math> であるとき、かつそのときに限る。同様に、2つの確率変数 <math>X</math> と <math>Y</math> に対し <math>I(X;Y) \ge 0</math> かつ <math>h(X|Y) \le h(X)</math> で、等号が成立するのは <math>X</math> と <math>Y</math> が[[独立 (確率論)|独立]]であるとき、かつそのときに限る。
* 離散型の場合と同じく連鎖律が成り立つ<ref name="cover_thomas" />{{rp|253}}。
::<math>h(X_1, \ldots, X_n) = \sum_{i=1}^{n} h(X_i|X_1, \ldots, X_{i-1}) \leq \sum_{i=1}^{n} h(X_i)</math>
* 平行移動不変である。つまり任意の定数 <math>c</math> に対し
::<math>h(X+c) = h(X)</math><ref name="cover_thomas" />{{rp|253}}
* 一般に、任意の可逆な写像の下で不変ではない。
:: 特に、定数 <math>a</math> に対しては
:::<math>h(aX) = h(X)+ \log |a|</math>
:: ベクトル値確率変数 <math>\mathbf{X}</math> と[[正則行列|可逆な正方行列]] <math>\mathbf{A}</math> に対しては
:::<math>h(\mathbf{A}\mathbf{X})=h(\mathbf{X})+\log \left( |\det \mathbf{A}| \right)</math><ref name="cover_thomas" />{{rp|253}}
* 一般に、あるベクトル値確率変数から同じ次元のベクトル値確率変数への変換 <math>\mathbf{Y}=m \left(\mathbf{X}\right)</math> があるとき、対応するエントロピーは
::<math>h(\mathbf{Y}) \leq h(\mathbf{X}) + \int f(x) \log \left\vert \frac{\partial m}{\partial x} \right\vert dx</math>
:を満たす。ここで <math>\left\vert \frac{\partial m}{\partial x} \right\vert</math> は変換 <math>m</math> の[[ヤコビ行列式]]である<ref>https://math.stackexchange.com/questions/1745670/proof-of-upper-bound-on-differential-entropy-of-fx</ref>。この不等式は変換が[[全単射]]のとき等式になる。さらに <math>m</math> が回転、平行移動、またはそれらの合成であるとき、ヤコビ行列式の値は常に1であり、<math>h(Y)=h(X)</math> となる。
* 確率変数ベクトル <math>X \in \mathbb{R}^n</math> の平均が0で[[分散共分散行列]]が <math>K</math> のとき
::<math>h(\mathbf{X}) \leq \frac{1}{2} \log(\det{2 \pi e K}) = \frac{1}{2} \log[(2\pi e)^n \det{K}]</math> 
:等号が成立するのは <math>X</math> が[[多変量正規分布]]に従うとき、かつそのときに限る<ref name="cover_thomas" />{{rp|254}}。

しかし、微分エントロピーは他のいくつかの望ましい性質を持っていない：
* 微分エントロピーは{{仮リンク|変数変換|en|change of variables}}の下で不変でない。最も有用になるのは変量が無次元の場合である。
* 微分エントロピーは負になり得る。
これらの欠点に対応するため微分エントロピーを修正したものが '''relative information entropy''' であり、これは[[不変測度]]因子を含んでいる。[[:en:limiting density of discrete points]] を参照。

==正規分布のときに最大になること==
===定理===
平均 <math>\mu</math>, [[分散 (確率論)|分散]] <math>\sigma^2</math> が固定されたとき、微分エントロピーが最大になるのは分布が正規分布のときである<ref name="cover_thomas" />{{rp|255}}。

===証明===
<math>g(x)</math> を平均 <math>\mu</math> ・分散 <math>\sigma^2</math> の正規分布の確率密度関数とし、<math>f(x)</math> を同一の平均と分散を持つ任意の確率密度関数とする。

2分布間のカルバック・ライブラー情報量
:<math> 0 \leq D_{KL}(f || g) = \int_{-\infty}^\infty f(x) \log \left( \frac{f(x)}{g(x)} \right) dx = -h(f) - \int_{-\infty}^\infty f(x)\log(g(x)) dx</math>
を考える。ここで
:<math>\begin{align}
 \int_{-\infty}^\infty f(x)\log(g(x)) dx &= \int_{-\infty}^\infty f(x)\log\left( \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\right) dx \\
 &= \int_{-\infty}^\infty f(x) \log\frac{1}{\sqrt{2\pi\sigma^2}} dx + \log(e)\int_{-\infty}^\infty f(x)\left( -\frac{(x-\mu)^2}{2\sigma^2}\right) dx \\
 &= -\tfrac{1}{2}\log(2\pi\sigma^2) - \log(e)\frac{\sigma^2}{2\sigma^2} \\
 &= -\tfrac{1}{2}\left(\log(2\pi\sigma^2) + \log(e)\right) \\
 &= -\tfrac{1}{2}\log(2\pi e \sigma^2)  \\
 &= -h(g)
\end{align}</math>
である。よって <math> h(g) - h(f) \geq 0 \!</math> 。

==例：指数分布==
<math>X</math> がパラメータ <math>\lambda</math> の[[指数分布]]に従う、つまり確率密度関数が

:<math>f(x) = \lambda e^{-\lambda x} \mbox{ for } x \geq 0</math>

であるとする。この微分エントロピーは
{|
|-
| <math>h_e(X)\,</math>
| <math>=-\int_0^\infty \lambda e^{-\lambda x} \log (\lambda e^{-\lambda x})\,dx</math>
|-
|
| <math>=  -\left(\int_0^\infty (\log \lambda)\lambda e^{-\lambda x}\,dx + \int_0^\infty (-\lambda x) \lambda e^{-\lambda x}\,dx\right) </math>
|-
|
| <math>= -\log \lambda \int_0^\infty f(x)\,dx + \lambda E[X]</math>
|-
|
| <math>= -\log\lambda + 1\,</math>
|}

ここで、計算の簡易化のため対数の底を ''[[ネイピア数|e]]'' としていることを明示するため、<math>h(X)</math> ではなく <math>h_e(X)</math> と書いている。

==推定誤差との関係==
微分エントロピーは[[推定量]]の平均二乗誤差に対する、一つの下限を与える。任意の連続型確率変数 <math>X</math> とその推定統計量 <math>\widehat{X}</math> に対し、以下が成り立つ<ref name="cover_thomas" />：
:<math>\operatorname{E}[(X - \widehat{X})^2] \ge \frac{1}{2\pi e}e^{2h(X)}</math>
等号が成立するのは <math>X</math> が正規分布に従い、<math>\widehat{X}</math> が <math>X</math> の平均であるとき、かつそのときに限る。

==様々な分布の微分エントロピー==
下記の表で、<math>\Gamma(x) = \int_0^{\infty} e^{-t} t^{x-1} dt</math> は[[ガンマ関数]]、<math>\psi(x) = \frac{d}{dx} \ln\Gamma(x)=\frac{\Gamma'(x)}{\Gamma(x)}</math> は[[ディガンマ関数]]、<math>B(p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}</math> は[[ベータ関数]]、γ<sub>''E''</sub> は [[オイラーの定数]]である<ref>{{cite journal |last1=Park |first1=Sung Y. |last2=Bera |first2=Anil K. |year=2009 |title=Maximum entropy autoregressive conditional heteroskedasticity model |journal=Journal of Econometrics |volume= |issue= |publisher=Elsevier |doi= |url=http://www.wise.xmu.edu.cn/Master/Download/..%5C..%5CUploadFiles%5Cpaper-masterdownload%5C2009519932327055475115776.pdf |accessdate=2011-06-02 }}</ref>{{rp|219-230}}。
{| class="wikitable" style="background:white"
|+ 微分エントロピー一覧
|-
! 分布名 !! 確率密度関数 !! エントロピー（単位：[[ナット (単位)|ナット]]） || 関数の台
|-
| [[連続一様分布]] || <math>f(x) = \frac{1}{b-a}</math> || <math>\ln(b - a) \,</math> ||<math>[a,b]\,</math>
|-
| [[正規分布]] || <math>f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)</math> || <math>\ln\left(\sigma\sqrt{2\,\pi\,e}\right) </math>||<math>(-\infty,\infty)\,</math>
|-
| [[指数分布]] || <math>f(x) = \lambda \exp\left(-\lambda x\right)</math> || <math>1 - \ln \lambda \, </math>||<math>[0,\infty)\,</math>
|-
| [[レイリー分布]] || <math>f(x) = \frac{x}{\sigma^2} \exp\left(-\frac{x^2}{2\sigma^2}\right)</math> || <math>1 + \ln \frac{\sigma}{\sqrt{2}} + \frac{\gamma_E}{2}</math>||<math>[0,\infty)\,</math>
|-
| [[ベータ分布]] || <math>f(x) = \frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)}</math> for <math>0 \leq x \leq 1</math> || <math> \ln B(\alpha,\beta) - (\alpha-1)[\psi(\alpha) - \psi(\alpha +\beta)]\,</math><br /><math>- (\beta-1)[\psi(\beta) - \psi(\alpha + \beta)] \, </math>||<math>[0,1]\,</math>
|-
| [[コーシー分布]] || <math>f(x) = \frac{\gamma}{\pi} \frac{1}{\gamma^2 + x^2}</math> || <math>\ln(4\pi\gamma) \, </math>||<math>(-\infty,\infty)\,</math>
|-
| {{仮リンク|カイ分布|en|Chi distribution}} || <math>f(x) = \frac{2}{2^{k/2}  \Gamma(k/2)} x^{k-1} \exp\left(-\frac{x^2}{2}\right)</math> || <math>\ln{\frac{\Gamma(k/2)}{\sqrt{2}}} - \frac{k-1}{2} \psi\left(\frac{k}{2}\right) + \frac{k}{2}</math>||<math>[0,\infty)\,</math>
|-
| [[カイ二乗分布]] || <math>f(x) = \frac{1}{2^{k/2} \Gamma(k/2)} x^{\frac{k}{2}\!-\!1} \exp\left(-\frac{x}{2}\right)</math> || <math>\ln 2\Gamma\left(\frac{k}{2}\right) - \left(1 - \frac{k}{2}\right)\psi\left(\frac{k}{2}\right) + \frac{k}{2}</math>||<math>[0,\infty)\,</math>
|-
| [[アーラン分布]] || <math>f(x) = \frac{\lambda^k}{(k-1)!} x^{k-1} \exp(-\lambda x)</math> || <math>(1-k)\psi(k) + \ln \frac{\Gamma(k)}{\lambda} + k</math>||<math>[0,\infty)\,</math>
|-
| [[F分布]] || <math>f(x) = \frac{n_1^{\frac{n_1}{2}} n_2^{\frac{n_2}{2}}}{B(\frac{n_1}{2},\frac{n_2}{2})} \frac{x^{\frac{n_1}{2} - 1}}{(n_2 + n_1 x)^{\frac{n_1 + n2}{2}}}</math> || <math>\ln \frac{n_1}{n_2} B\left(\frac{n_1}{2},\frac{n_2}{2}\right) + \left(1 - \frac{n_1}{2}\right) \psi\left(\frac{n_1}{2}\right) -</math><br /><math>\left(1 + \frac{n_2}{2}\right)\psi\left(\frac{n_2}{2}\right) + \frac{n_1 + n_2}{2} \psi\left(\frac{n_1\!+\!n_2}{2}\right)</math>||<math>[0,\infty)\,</math>
|-
| [[ガンマ分布]] || <math>f(x) = \frac{x^{k - 1} \exp(-\frac{x}{\theta})}{\theta^k \Gamma(k)}</math> || <math>\ln(\theta \Gamma(k)) + (1 - k)\psi(k) + k \, </math>||<math>[0,\infty)\,</math>
|-
| [[ラプラス分布]] || <math>f(x) = \frac{1}{2b} \exp\left(-\frac{|x - \mu|}{b}\right)</math> || <math>1 + \ln(2b) \, </math>||<math>(-\infty,\infty)\,</math>
|-
| [[ロジスティック分布]] || <math>f(x) = \frac{e^{-x}}{(1 + e^{-x})^2}</math> || <math>2 \, </math>||<math>(-\infty,\infty)\,</math>
|-
| [[対数正規分布]] || <math>f(x) = \frac{1}{\sigma x \sqrt{2\pi}} \exp\left(-\frac{(\ln x - \mu)^2}{2\sigma^2}\right)</math> || <math>\mu + \frac{1}{2} \ln(2\pi e \sigma^2)</math>||<math>[0,\infty)\,</math>
|-
| [[マクスウェル分布]] || <math>f(x) = \frac{1}{a^3}\sqrt{\frac{2}{\pi}}\,x^{2}\exp\left(-\frac{x^2}{2a^2}\right)</math> || <math>\ln(a\sqrt{2\pi})+\gamma_E-\frac{1}{2}</math>||<math>[0,\infty)\,</math>
|-
| {{仮リンク|一般正規分布|en|Generalized Gaussian distribution}} || <math>f(x) = \frac{2 \beta^{\frac{\alpha}{2}}}{\Gamma(\frac{\alpha}{2})} x^{\alpha - 1} \exp(-\beta x^2)</math> || <math>\ln{\frac{\Gamma(\alpha/2)}{2\beta^{\frac{1}{2}}}} - \frac{\alpha - 1}{2} \psi\left(\frac{\alpha}{2}\right) + \frac{\alpha}{2}</math>||<math>(-\infty,\infty)\,</math>
|-
| [[パレート分布]] || <math>f(x) = \frac{\alpha x_m^\alpha}{x^{\alpha+1}}</math> || <math>\ln \frac{x_m}{\alpha} + 1 + \frac{1}{\alpha}</math>||<math>[x_m,\infty)\,</math>
|-
| [[t分布]] || <math>f(x) = \frac{(1 + x^2/\nu)^{-\frac{\nu+1}{2}}}{\sqrt{\nu}B(\frac{1}{2},\frac{\nu}{2})}</math> || <math>\frac{\nu\!+\!1}{2}\left(\psi\left(\frac{\nu\!+\!1}{2}\right)\!-\!\psi\left(\frac{\nu}{2}\right)\right)\!+\!\ln \sqrt{\nu} B\left(\frac{1}{2},\frac{\nu}{2}\right)</math>||<math>(-\infty,\infty)\,</math>
|-
| [[三角分布]] || <math> f(x) = \begin{cases}
\frac{2(x-a)}{(b-a)(c-a)} & \mathrm{for\ } a \le x \leq c, \\[4pt]
    \frac{2(b-x)}{(b-a)(b-c)} & \mathrm{for\ } c < x \le b, \\[4pt]
 \end{cases}</math> || <math>\frac{1}{2} + \ln \frac{b-a}{2}</math>||<math>[0,1]\,</math>
|-
| [[ワイブル分布]] || <math>f(x) = \frac{k}{\lambda^k} x^{k-1} \exp\left(-\frac{x^k}{\lambda^k}\right)</math> || <math>\frac{(k-1)\gamma_E}{k} + \ln \frac{\lambda}{k} + 1</math>||<math>[0,\infty)\,</math>
|-
| [[多変量正規分布]] || <math>
f_X(\vec{x}) =</math><br /><math> \frac{\exp \left( -\frac{1}{2} ( \vec{x} - \vec{\mu})^\top \Sigma^{-1}\cdot(\vec{x} - \vec{\mu}) \right)} {(2\pi)^{N/2} \left|\Sigma\right|^{1/2}}</math> || <math>\frac{1}{2}\ln\{(2\pi e)^{N} \det(\Sigma)\}</math>||<math>\mathbb{R}^N</math>
|-
|}

これらの多くについては脚注参照<ref name="lazorathie">{{cite journal|author=Lazo, A. and P. Rathie|title=On the entropy of continuous probability distributions|journal=IEEE Transactions on Information Theory|year=1978|volume=24 |issue=1|doi=10.1109/TIT.1978.1055832}}</ref>{{rp|120-122}}。

==関連項目==
*[[情報量]]
*{{仮リンク|自己情報量|en|surprisal}}
*{{仮リンク|エントロピー推定|en|Entropy estimation}}

==脚注==
{{reflist}}

==外部リンク==
* {{SpringerEOM|title=Differential entropy|urlname=Differential_entropy}}
* {{planetmath reference|id=1915|title=Differential entropy}}

{{DEFAULTSORT:ひふんえんとろひい}}
[[Category:情報理論]]
[[Category:エントロピー]]
[[Category:確率論]]
[[Category:統計学]]
[[Category:数学に関する記事]]