カルバック・ライブラー情報量

テンプレート:情報理論 カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、テンプレート:Lang-en-short）は2つの確率分布の差異を計る尺度である。

確率論と情報理論で利用され様々な呼び名がある。以下はその一例である：

• カルバック・ライブラー・ダイバージェンス（KLダイバージェンス）
• 情報ダイバージェンス（テンプレート:Lang-en-short）
• 情報利得（テンプレート:Lang-en-short）
• 相対エントロピー（テンプレート:Lang-en-short）
• カルバック・ライブラー距離

ただしこの計量は距離の公理を満たさないので、数学的な意味での距離ではない。

応用上は、「真の」確率分布 テンプレート:Mvar とそれ以外の任意の確率分布 テンプレート:Mvar に対するカルバック・ライブラー情報量が計算される事が多い。たとえば テンプレート:Mvar はデータ、観測値、正確に計算で求められた確率分布などを表し、テンプレート:Mvar は理論値、モデル値、テンプレート:Mvar の予測値などを表す。

この概念は1951年、ソロモン・カルバックとリチャード・ライブラーが2つの分布の間の directed divergence として用いたのが最初であり、ベクトル解析におけるダイバージェンスとは異なる概念である。

カルバック・ライブラー情報量は離散分布のみならず連続分布に対しても定義されており、連続分布に対するカルバック・ライブラー情報量は変数変換について不変である。したがって、情報理論の他の量（自己情報量やエントロピー）よりも基本的であるともいえる。というのも、それらは離散的でない確率については未定義だったり、変数変換に対して不変ではなかったりするからである。

定義

テンプレート:Mvar、テンプレート:Mvar を離散確率分布とするとき、テンプレート:Mvar の テンプレート:Mvar に対するカルバック・ライブラー情報量は以下のように定義される。

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)}={𝔼}_P[\log \frac{P(i)}{Q(i)}]$

ここで テンプレート:Math、テンプレート:Math はそれぞれ確率分布 テンプレート:Mvar、テンプレート:Mvar に従う確率変数の値が テンプレート:Mvar となる確率である。

一方 テンプレート:Mvar、テンプレート:Mvar が連続確率分布の場合は以下のように定義される。

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}p(x)\log \frac{p(x)}{q(x)}dx={𝔼}_P[\log \frac{p(x)}{q(x)}]$

ここで、テンプレート:Mvar、テンプレート:Mvar はそれぞれ テンプレート:Mvar、テンプレート:Mvar の確率密度関数を表す。

より一般に、テンプレート:Mvar、テンプレート:Mvar が可測集合 テンプレート:Mvar 上の確率測度で、テンプレート:Mvar、テンプレート:Mvar がなんらかの測度 テンプレート:Mvar に対して絶対連続な場合には、

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=\underset{X}{\int }\frac{dP}{d\mu }\log \frac{dP/d\mu }{dQ/d\mu }d\mu$

と定義できる。ここで テンプレート:Math、テンプレート:Math はラドン・ニコディム導関数である。

これらの式に出てくる対数の底は、情報の単位をビットとするときは テンプレート:Math とし、ナットを単位とするときはネイピア数 テンプレート:Mvar を底とする。カルバック・ライブラー情報量に関わる方程式の多くは対数の底と無関係である。

直観的意味

最尤推定量による説明

有限次元のパラメータ テンプレート:Mvar によって特徴づけられる確率密度関数 テンプレート:Math を用いて テンプレート:Math を推定するという文脈では、カルバック・ライブラー情報量の経験量の最小化

$\underset{\theta }{\min }\frac{1}{n}\sum _{i=1}^n\log \frac{p(X_i)}{q(X_i|\theta )}$

は、（対数変換した）最尤法

$\underset{\theta }{\max }\frac{1}{n}\sum _{i=1}^n\log q(X_i|\theta )$

と同値な問題になる。すなわち、最尤推定量は、カルバック・ライブラー情報量を経験的に最小化する推定方法だと考えられる。

ベイズ確率による説明

テンプレート:Mvar を確率変数とし、各 テンプレート:Mvar に対し テンプレート:Mvar が テンプレート:Mvar である確率 テンプレート:Math が テンプレート:Math であったとする（ベイズ確率でいう事前分布）。いま テンプレート:Mvar に関する新たなデータ テンプレート:Mvar を知ったとし、その結果 テンプレート:Mvar の従う（条件付き）確率 テンプレート:Math が テンプレート:Math になったとする（ベイズ確率でいう事後分布）。

このとき、テンプレート:Mvar は テンプレート:Mvar に関しどのくらいの情報を提供したといえるであろうか。情報量が事象の不確かさを図る尺度であったことを思い出されたい。テンプレート:Mvar を知る前の テンプレート:Mvar の不確かさ（すなわち自己情報量）は テンプレート:Math であるが、テンプレート:Mvar を知ることでそれは テンプレート:Math に減る。したがって テンプレート:Mvar によって テンプレート:Mvar に関して

$(-\log Q(x))-(-\log P(x))=\log \frac{P(x)}{Q(x)}$

だけの自己情報量を得たことになる。テンプレート:Mvar は テンプレート:Mvar に従って変わるので、この値の（事後確率分布による）平均値をとると、

$\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$

となる。これはカルバック・ライブラー情報量と一致する。

すなわち、カルバック・ライブラー情報量は、テンプレート:Mvar に関してデータ テンプレート:Mvar から得られる情報量の平均値を表していることになる。以上の理由により、カルバック・ライブラー情報量は情報利得(Information gain)とも呼ばれる。

符号化による説明

情報量が H である確率変数X は平均ビット数が（ほぼ）H であるビット列に符号化できる(ハフマン符号)が、平均ビット数が H 未満であるようには符号化できない(情報源符号化定理)事が知られている。つまり、確率変数 X を符号化しようと考えた場合、H がビット数の最小値である。今確率変数 X が本当は分布 P に従っているのに、誤って分布 Q に従っていると判断してしまった場合、本来の最小値よりも多くのビット数を必要としてしまう。カルバック・ライブラー情報量は、このような誤りを犯してしまった場合に余分にかかってしまうビット数の平均値を表す。

テンプレート:仮リンクによる説明

カルバック・ライブラー情報量は、サノフの定理を通して大偏差理論の一部に位置づけられる。集合 {1,2,...,r} 上の確率分布全体の集合を P とし、K⊂Pをコンパクト集合とする。このとき、確率分布 p ∈ P から独立同分布にしたがって生成した確率変数列 x₁, x₂,..., x_N から導かれる経験分布が K に含まれる確率のレート関数は、カルバック・ライブラー情報量で与えられる：

$\begin{array}{cc}\underset{N\to \mathrm{\infty }}{\lim }\frac{1}{N}\log \mathbb{P}[q\in K]& =-\underset{q^{*}\in K}{\inf }D(q^{*}\Vert p)\end{array}$

端的に述べれば、確率分布 p のくじ引きを繰り返し引いたときに経験分布 q が得られる確率は、p から q へのカルバック・ライブラー情報量 D(q||p) をレート関数として試行回数の増加とともに減衰することを意味する。

裏表が等しい確率で出るコイントスを100回繰り返して1回しか表が出ない確率が、1/100の確率で表が出るコイントスを100回繰り返して裏と表がちょうど50回ずつ出る確率よりも高いことは、直感的に理解できる。これは、カルバック・ライブラー情報量が対称性を持たないことの直感的な理解を与える。

性質

カルバック・ライブラー情報量は常に負でない値となる。

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)\ge 0$

これはギブスの不等式として知られており、D_KL(P||Q) がゼロとなるのは P = Q であるときだけである。従って、エントロピー H(P) は交差エントロピー H(P,Q) の下限値となる。この交差エントロピーは P ではなく Q に基づく符号を使ったときに予測されるビット数を表している。従って、KLダイバージェンスは、X から x という値を特定する情報を得るために、P という真の分布ではなく Q という確率分布に対応した符号を使ったときに余分にかかると予想されるビット数を表しているのである。

カルバック・ライブラー情報量を確率分布空間における距離と呼ぶ場合もあるが、カルバック・ライブラー情報量には対称性がないため、距離と呼ぶのは正しくない。一般に

$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)\ne D_{\mathrm{K}\mathrm{L}}(Q\Vert P).$

さらに言えば、D_KL(P||Q) は三角不等式を満足しない。

情報理論における他の量との関係

情報理論の他の様々な量は、カルバック・ライブラー情報量の特殊なケースの応用として解釈できる。

自己情報量との関係

$I(m)=D_{\mathrm{K}\mathrm{L}}({\delta }_{im}\Vert \{p_i\}),$

ここで${\delta }_{im}$はクロネッカーのデルタ。

相互情報量との関係

$\begin{array}{cc}I(X;Y)& =D_{\mathrm{K}\mathrm{L}}(P(X,Y)\Vert P(X)P(Y))\\ & ={𝔼}_X\{D_{\mathrm{K}\mathrm{L}}(P(Y|X)\Vert P(Y))\}\\ & ={𝔼}_Y\{D_{\mathrm{K}\mathrm{L}}(P(X|Y)\Vert P(X))\}\end{array}$

シャノン・エントロピーとの関係

$\begin{array}{cc}H(X)& ={𝔼}_x\{I(x)\}\\ & =\log N-D_{\mathrm{K}\mathrm{L}}(P(X)\Vert P_U(X))\end{array}$

ここでN は確率変数X の値域の元の数で、P_U(X) はX の値域上の一様分布。

条件付きエントロピーの場合は以下のようになる：

$\begin{array}{cc}H(X|Y)& =\log N-D_{\mathrm{K}\mathrm{L}}(P(X,Y)\Vert P_U(X)P(Y))\\ & =\log N-D_{\mathrm{K}\mathrm{L}}(P(X,Y)\Vert P(X)P(Y))-D_{\mathrm{K}\mathrm{L}}(P(X)\Vert P_U(X))\\ & =H(X)-I(X;Y)\\ & =\log N-{𝔼}_Y\{D_{\mathrm{K}\mathrm{L}}(P(X|Y)\Vert P_U(X))\}\end{array}$

交差エントロピーとの関係

$\begin{array}{cc}{D}_{\mathrm{K}\mathrm{L}}(P\Vert Q)& =-\sum _{x}p(x)\log q(x)+\sum _{x}p(x)\log p(x)\\ & =H(P,Q)-H(P)\end{array}$

関連項目

• 赤池情報量規準
• ベイズ情報量規準
• 量子相対エントロピー

参考文献

• Fuglede B, and Topsøe F., 2004, Jensen-Shannon Divergence and Hilbert Space Embedding, IEEE Int Sym Information Theory.
• Kullback, S., and Leibler, R. A., 1951, On information and sufficiency, Annals of Mathematical Statistics 22: 79-86.
• Rubner, Y., Tomasi, C., and Guibas, L. J., 2000. The Earth Mover's distance as a metric for image retrieval. International Journal of Computer Vision, 40(2): 99-121.
• Kullback, S. Information Theory and Statistics. Dover reprint.
• Matlab code for calculating KL divergence