ギブスの不等式のソースを表示

'''ギブスの不等式'''（ぎぶすのふとうしき、[[英語|英]]: '''Gibbs' inequality'''）とは、[[情報理論]]における離散[[確率分布]]の[[情報量|エントロピー]]に関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、[[ファノの不等式|ファーノの不等式]]などがある。

この不等式は[[19世紀]]に[[ウィラード・ギブズ|ウィラード・ギブス]]が最初に提示した。

== 定義 ==
ある確率分布 ''P'' を次のように表す。

:<math> P = \{ p_1 , \ldots , p_n \} </math>

別の確率分布 ''Q'' を次のように表す。

:<math> Q = \{ q_1 , \ldots , q_n \} </math>

このとき、次の不等式が成り立つ。

:<math> - \sum_{i=1}^n p_i \log_2 p_i \leq - \sum_{i=1}^n p_i \log_2 q_i </math>

ただし、これは全ての ''i'' について次の等式が成り立つときだけ等式として成り立つ。

:<math> p_i = q_i \,</math>

2つの量の差は、[[カルバック・ライブラー情報量]]（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。

:<math> D_{\mathrm{KL}}(P\|Q) \geq 0</math>

== 証明 ==
[[対数]]の性質から、次が成り立つ。

:<math> \log_2 a = \frac{ \ln a }{ \ln 2 }</math>

従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。

:<math> \ln x \leq x-1 </math>

これは、全ての ''x'' について成り立つ（''x=1'' のときだけ等号）。

''p<sub>i</sub>'' がゼロでない全ての <math>i</math> の集合を <math>I</math> とする。すると、

:<math>
\begin{align}
- \sum_{i \in I} p_i \ln \frac{q_i}{p_i} & {} \geq - \sum_{i \in I} p_i \left( \frac{q_i}{p_i} - 1 \right) \\
& {} = - \sum_{i \in I} q_i + \sum_{i \in I} p_i \\
& {} = - \sum_{i \in I} q_i + 1 \\
& {} \geq 0
\end{align}
</math>

となるので、次が成り立つ。

:<math> - \sum_{i \in I} p_i \ln q_i \geq - \sum_{i \in I} p_i \ln p_i </math>

両辺に 0 を加えても大小関係は変わらないから、0 であるような ''p<sub>i</sub>'' も含めることができて、

:<math> - \sum_{i=1}^n p_i \ln q_i \geq - \sum_{i=1}^n p_i \ln p_i </math>

等式として成り立つには、次の条件が成立しなければならない。
# 全ての <math>i \in I </math> について <math> \frac{q_i}{p_i} = 1</math> であれば、<math>\ln \frac{q_i}{p_i} = 1 - \frac{q_i}{p_i} </math> が成り立つ。
# <math> \sum_{i \in I} q_i = 1</math> であれば、証明の3行目から4行目の部分で等号が成り立つ。

これらが成り立つのは、''i'' = 1, ..., ''n'' について以下が成立しているときのみである。

:<math>p_i = q_i </math>

== 他の証明手法 ==
[[イェンセンの不等式]]を使って証明することもできる。

== 系 ==
<math>P</math> の[[情報量|エントロピー]]は次の式で上限が与えられる。

:<math>H(p_1, \ldots , p_n) \leq \log n </math>

証明は簡単で、全ての ''i'' について <math>q_i = 1/n </math> とすればよい。

== 関連項目 ==
*[[情報量]]
*[[ファノの不等式|ファーノの不等式]]

{{DEFAULTSORT:きふすのふとうしき}}
[[Category:ウィラード・ギブズ]]
[[Category:情報理論]]
[[Category:符号理論]]
[[Category:不等式]]
[[Category:数学のエポニム]]
[[Category:数学に関する記事]]