ギブスの不等式

ギブスの不等式（ぎぶすのふとうしき、英: Gibbs' inequality）とは、情報理論における離散確率分布のエントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。

この不等式は19世紀にウィラード・ギブスが最初に提示した。

定義

ある確率分布 P を次のように表す。

P = {p_{1}, \dots, p_{n}}

別の確率分布 Q を次のように表す。

Q = {q_{1}, \dots, q_{n}}

このとき、次の不等式が成り立つ。

- \sum_{i = 1}^{n} p_{i} \log_{2} p_{i} \leq - \sum_{i = 1}^{n} p_{i} \log_{2} q_{i}

ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。

p_{i} = q_{i}

2つの量の差は、カルバック・ライブラー情報量（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。

D_{K L} (P ‖ Q) \geq 0

対数の性質から、次が成り立つ。

\log_{2} a = \frac{\ln a}{\ln 2}

従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。

\ln x \leq x - 1

これは、全ての x について成り立つ（x=1 のときだけ等号）。

p_i がゼロでない全ての $i$ の集合を $I$ とする。すると、

\begin{matrix} - \sum_{i \in I} p_{i} \ln \frac{q_{i}}{p_{i}} & \geq - \sum_{i \in I} p_{i} (\frac{q_{i}}{p_{i}} - 1) \\ = - \sum_{i \in I} q_{i} + \sum_{i \in I} p_{i} \\ = - \sum_{i \in I} q_{i} + 1 \\ \geq 0 \end{matrix}

となるので、次が成り立つ。

- \sum_{i \in I} p_{i} \ln q_{i} \geq - \sum_{i \in I} p_{i} \ln p_{i}

両辺に 0 を加えても大小関係は変わらないから、0 であるような p_i も含めることができて、

- \sum_{i = 1}^{n} p_{i} \ln q_{i} \geq - \sum_{i = 1}^{n} p_{i} \ln p_{i}

等式として成り立つには、次の条件が成立しなければならない。

全ての $i \in I$ について $\frac{q_{i}}{p_{i}} = 1$ であれば、 $\ln \frac{q_{i}}{p_{i}} = 1 - \frac{q_{i}}{p_{i}}$ が成り立つ。
$\sum_{i \in I} q_{i} = 1$ であれば、証明の3行目から4行目の部分で等号が成り立つ。

これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。

p_{i} = q_{i}

イェンセンの不等式を使って証明することもできる。

$P$ のエントロピーは次の式で上限が与えられる。

H (p_{1}, \dots, p_{n}) \leq \log n

証明は簡単で、全ての i について $q_{i} = 1 / n$ とすればよい。