二値エントロピー関数のソースを表示

{{翻訳直後|[[:en:Special:Redirect/revision/791484279|en: Binary entropy function]]|date=2017年7月24日 (月) 13:30 (UTC)}}
{{参照方法|date=2017年7月24日 (月) 13:30 (UTC)}}
[[情報理論]]において、'''二値エントロピー関数'''（にちエントロピーかんすう、binary entropy function）は <math>\operatorname H(p)</math> もしくは <math>\operatorname H_\text{b}(p)</math> のように表記され、[[確率]] <math>p</math> の1値または2値[[ベルヌーイ過程]]の[[情報量|情報エントロピー]]として定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる[[確率変数]] <math>X</math>

<math>\operatorname{Pr}(X=1) = p</math> のとき <math>\operatorname{Pr}(X=0) = 1-p </math> であり、<math>X</math> のエントロピーは（[[シャノン (単位)|シャノン]]単位で）次のように与えられる。
: <math>\operatorname H(X) = \operatorname H_\text{b}(p) = -p \log_2 p - (1 - p) \log_2 (1 - p)</math>,
ここで、 <math>0 \log_2 0</math> は 0 とする。この式中の[[対数]]は通常、底を2とする。[[二進対数]]も参照されたい。

<math>p=\tfrac 1 2</math> のとき、二値エントロピー関数は最大値をとる。これは偏りのないコイントスに対応する。

<math>\operatorname H(p)</math> は単一の実数を引数としてとり、確率分布や確率変数を引数とする[[情報量|エントロピー関数]] <math>\Eta(X)</math> とは区別される。二値エントロピー関数を <math>\operatorname H_2(p)</math> と表記する場合もある。しかし、 {{ill2|レニーエントロピー|en|Rényi entropy}}も <math>\Eta_2(X)</math> と表記することがあるため、混同に注意が必要である。

== 説明 ==
情報理論における用語では、「エントロピー」とはメッセージ中の不確定性の尺度と考えられる。直感的に理解するため、<math>p=0</math> の場合を考える。この確率では、ある事象は決して起こらないことが確定しており、不確定性はまったくないのでエントロピーは0となる。<math>p=1</math> の場合も、結果はやはり確定的でありエントロピーは0となる。<math>p=1/2</math> のとき不確定性は最大となり、公平な賭けをする場合は確率に関する知識があろうと全く有利にはならないのである。この場合、エントロピーは最大値 1 [[ビット]]をとる。中間的な値はこれらの極端な場合の間になる。たとえば <math>p=1/4</math> の場合、結果に若干の不確定性があるものの、予言を外すよりは多く当てることができるので不確定性の尺度、すなわちエントロピーは完全な 1 ビットよりは小さくなる。

== 導関数 ==
二値エントロピー関数の[[微分|導関数]]は[[ロジット]]関数の符号を反転させたもので表現される。
: <math> {d \over dp} H_\text{b}(p) = - \operatorname{logit}_2(p) = -\log_2\left( \frac{p}{1-p} \right)</math>.

== テイラー展開 ==
二値エントロピー関数の1/2まわりでの[[テイラー展開]]は次のように与えられる。
: <math>\operatorname H_\text{b}(p) = 1 - \frac{1}{2\ln 2} \sum^{\infin}_{n=1} \frac{(1-2p)^{2n}}{n(2n-1)} </math>
これは <math>0\le p\le 1</math> で成り立つ。

== 関連項目 ==
* [[測度保存力学系|測度論的エントロピー]]
* [[情報理論]]
* [[情報量|情報エントロピー]]

== 出典 ==
*  MacKay, David J. C.. ''[https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003. {{ISBN2|0-521-64298-1}}

{{デフォルトソート:にちえんとろひいかんすう}}
[[Category:情報理論]]