結合エントロピーのソースを表示

{{情報理論}}
'''結合エントロピー'''（けつごうエントロピー、{{lang-en-short|joint entropy}}）とは、[[情報理論]]における[[情報量]]の一種。結合エントロピーは、2つの[[確率変数]]の結合した系での[[情報量|エントロピー]]を表す。確率変数 <math>X</math> と <math>Y</math> があるとき、結合エントロピーは <math>H(X,Y)</math> と記される。他のエントロピーと同様、[[情報量#単位|単位]]は[[対数]]の底によって[[ビット]] (bit)、ナット (nat)、ディット (dit) が使われる。

== 背景 ==
確率変数 <math>X</math> があるとき、そのエントロピー <math>H(X)</math> は <math>X</math> の値の不確かさを表す。<math>X</math> について、イベント <math>x</math> が発生する確率が <math>p_x</math> であるとき、<math>X</math> のエントロピーは次のようになる。

:<math>H(X) = -\sum_x p_x \log_2(p_x) \!</math>

もう1つの確率変数 <math>Y</math> では、イベント <math>y</math> が発生する確率が <math>p_y</math> であるとする。<math>Y</math> のエントロピーは <math>H(Y)</math> で表される。

ここで、<math>X</math> と <math>Y</math> が相互に関連したイベントを表しているとき、系全体のエントロピーは <math>H(X)+H(Y)</math> にはならない。例えば、1から8までの[[整数]]を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。<math>X</math> は選んだ整数が[[奇数]]かどうかを表し、<math>Y</math> は選んだ整数が[[素数]]かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって <math>H(X)=H(Y)=1</math> となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。

== 定義 ==
ここで、考えられる結果の「対」 <math>(x,y)</math> を全て考慮する。

それぞれの対の発生確率を <math>p_{x,y}\quad</math> としたとき、結合エントロピーは次のようになる。

:<math>H(X,Y) = -\sum_{x,y} p_{x,y} \log_2(p_{x,y}) \!</math>

上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。

:<math>P(\text{even}, \text{prime})=P(\text{odd}, \text{not prime})=1/8 </math>
:<math>P(\text{even}, \text{not prime}) = P(\text{odd}, \text{prime})=3/8 </math>

以上から、結合エントロピーは次のようになる。

:<math> -2\frac{1}{8}\log_2(1/8)  -2\frac{3}{8}\log_2(3/8) \approx 1.8 ~ \text{bits} </math>

== 特性 ==
=== 部分エントロピーよりも大きい ===
結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。

:<math>H(X,Y) \geq H(X)</math>

この不等式が等式になるのは、<math>Y</math> が <math>X</math> の（決定的）[[関数 (数学)|関数]]になっている場合だけである。

<math>Y</math> が <math>X</math> の（決定的）[[関数 (数学)|関数]]であるとき、以下も成り立つ。

:<math>H(X) \geq H(Y)</math>

=== 劣加法性 ===
2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。

:<math>H(X,Y) \leq H(X) + H(Y)</math>

この不等式が等式になるのは、<math>X</math> と <math>Y</math> に[[確率論的独立性]]がある場合だけである。

=== 限界 ===
他のエントロピーと同様、常に <math>H(X,Y) \geq 0</math> が成り立つ。

== 他のエントロピー尺度との関係 ==
結合エントロピーは、次のように[[情報量|条件付きエントロピー]]の定義に使われる。

:<math>H(X|Y) = H(X,Y) - H(Y)\,</math>

また、次のように[[相互情報量]]の定義にも使われる。

:<math>I(X;Y) = H(X) + H(Y) - H(X,Y)\,</math>

== 参考文献 ==
* {{cite book |author=Theresa M. Korn; Korn, Granino Arthur |title=Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review |publisher=Dover Publications |location=New York |year= |pages=613-614 |isbn=0-486-41147-8 |oclc= |doi=}}

{{確率論}}
{{DEFAULTSORT:けつこうえんとろひ}}
[[Category:情報理論]]
[[Category:エントロピー]]
[[Category:数学に関する記事]]

[[de:Bedingte Entropie#Blockentropie]]