結合エントロピー

テンプレート:情報理論 結合エントロピー（けつごうエントロピー、テンプレート:Lang-en-short）とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数 $X$ と $Y$ があるとき、結合エントロピーは $H(X,Y)$ と記される。他のエントロピーと同様、単位は対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。

背景

確率変数 $X$ があるとき、そのエントロピー $H(X)$ は $X$ の値の不確かさを表す。$X$ について、イベント $x$ が発生する確率が $p_x$ であるとき、$X$ のエントロピーは次のようになる。

$H(X)=-\sum _x{p}_x{\log }_2(p_x)$

もう1つの確率変数 $Y$ では、イベント $y$ が発生する確率が $p_y$ であるとする。$Y$ のエントロピーは $H(Y)$ で表される。

ここで、$X$ と $Y$ が相互に関連したイベントを表しているとき、系全体のエントロピーは $H(X)+H(Y)$ にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。$X$ は選んだ整数が奇数かどうかを表し、$Y$ は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって $H(X)=H(Y)=1$ となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。

定義

ここで、考えられる結果の「対」 $(x,y)$ を全て考慮する。

それぞれの対の発生確率を $p_{x,y}$ としたとき、結合エントロピーは次のようになる。

$H(X,Y)=-\sum _{x,y}{p}_{x,y}{\log }_2(p_{x,y})$

上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。

$P(\text{even},\text{prime})=P(\text{odd},\text{not prime})=1/8$

$P(\text{even},\text{not prime})=P(\text{odd},\text{prime})=3/8$

以上から、結合エントロピーは次のようになる。

$-2\frac{1}{8}{\log }_2(1/8)-2\frac{3}{8}{\log }_2(3/8)\approx 1.8\text{bits}$

特性

部分エントロピーよりも大きい

結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。

$H(X,Y)\ge H(X)$

この不等式が等式になるのは、$Y$ が $X$ の（決定的）関数になっている場合だけである。

$Y$ が $X$ の（決定的）関数であるとき、以下も成り立つ。

$H(X)\ge H(Y)$

劣加法性

2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。

$H(X,Y)\le H(X)+H(Y)$

この不等式が等式になるのは、$X$ と $Y$ に確率論的独立性がある場合だけである。

限界

他のエントロピーと同様、常に $H(X,Y)\ge 0$ が成り立つ。

他のエントロピー尺度との関係

結合エントロピーは、次のように条件付きエントロピーの定義に使われる。

$H(X|Y)=H(X,Y)-H(Y)$

また、次のように相互情報量の定義にも使われる。

$I(X;Y)=H(X)+H(Y)-H(X,Y)$

参考文献

• テンプレート:Cite book