情報量のソースを表示

{{Otheruses|情報量（エントロピー）の概念の[[情報理論]]的側面|[[熱力学]]的側面|エントロピー}}
{{混同|データ量}}
{{情報理論}}

'''情報量'''（じょうほうりょう）や'''エントロピー'''（{{lang-en-short|entropy}}）は、[[情報理論]]の概念で、あるできごと（[[事象 (確率論)|事象]]）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「[[情報]]」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（[[確率]]）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため）。

== 自己情報量（自己エントロピー）と平均情報量（エントロピー） ==
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を'''自己情報量'''（'''自己エントロピー'''とも）、後者を'''平均情報量'''（'''エントロピー'''とも）と呼ぶ。

== 自己情報量 ==
事象 <math>E</math> が起こる[[確率]]を <math>P(E)</math> とするとき、事象 <math>E</math> が起こったことを知らされたとき受け取る自己情報量 <math>I(E)</math> は、以下で定義される：

:<math>I(E)=\log \frac{1}{P(E)}=-\log P(E)</math>

確率は <math>0 \le P(E) \le 1</math> なので自己情報量 <math>I(E)</math> は非負である。また対数の[[単調写像|単調増加]]性により、起こりにくい事象（＝生起確率が低い事象）の情報量ほど値が大きい。

[[対数]]の[[対数#指数関数を用いた定義|底]]として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、<math>1/2^n</math> の確率で起こる事象の情報量は <math>n</math> である。

=== 直観的意味 ===
整数<math>u</math>に対し、<math>u</math>の対数<math>\log_mu</math>は<math>m</math>進法での<math>u</math>の桁数にほぼ等しい値を表す。したがって、[[確率]]<math>1/u</math>で起こる事象の情報量は、ほぼ<math>u</math>の桁数になる。

=== 情報量の加法性 ===
情報量は加法性を持つ。すなわち[[独立 (確率論)|独立]]な事象AとBに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。

:<math>I(A,B) = -\log P(A, B) = -\log (P(A) \cdot P(B)) = -(\log P(A) + \log P(B)) = I(A) + I(B)</math>

例えば、52枚の[[トランプ]]から無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義から {{math|log 52}} であると分かる。ここで、「取り出したカードの[[スート]]はハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量は {{math|log 4}}、後者は {{math|log 13}} である。この両者の和は {{math|1= log 4 + log 13 = log (4×13) = log 52}} となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。

=== 導出 ===
情報量に対する直感的要請には「発生確率が低いほど大きく（'''単調減少性'''）」「確率に関して連続的に変化し（'''連続性'''）」「独立同時事象の情報量が周辺事象の情報量和に等しい（'''加法性'''）」の三条件が挙げられる。この3条件を満たす関数は[[コーシーの函数方程式]]を利用することで<math>C\log p</math>と一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2として{{math|1= ''p''=1/2}}で1となるようにCを設定（{{math|1= C=-1}}）する。

== 平均情報量（エントロピー） ==
<math>(\Omega, \mathcal{F}, P)</math> を[[確率空間]]とする。[[全事象]] {{mvar|Ω}} の[[集合の分割|分割]] {{mvar|A}} が与えられたとき{{Refnest|この分割は離散型確率変数の確率質量関数から誘導されることもある<ref>{{Cite book |last=Gray |first=Robert M. |title=Entropy and Information Theory |date=2013-03-14 |publisher=Springer Science & Business Media |language=en |isbn=978-1-4757-3982-4 |url={{Google books|ZoTSBwAAQBAJ|Entropy and Information Theory|page=23|plainurl=yes|keywords=entropy as a function of the partition}} |p=23}}</ref>。}}<ref name="事象系">[[標本空間]]{{mvar|Ω}}上の（部分）[[集合族]]を事象族と呼ぶことがある。あるいは事象の[[集合系]]を事象系と呼ぶこともある。事象系が全事象の分割であるとき、それらの確率との組を完全事象系と呼ぶことがある（このとき確率の総和は1である）。</ref>、各事象 <math>A_i\in A</math> の自己情報量 <math>I(A_i)</math> で定義した値
:<math>H(P)
= \sum_{A_i\in A} P(A_i) \ I(A_i)
= - \sum_{A_i\in A} P(A_i) \log P(A_i)</math>
を[[確率測度]] {{mvar|P}} の'''エントロピー''' {{math|''H''(''P'')}} と呼ぶ（'''平均情報量'''、'''シャノン情報量'''、'''情報論のエントロピー'''とも）。ただし、ここで <math>P(A_i)=0</math> のときは、<math>P(A_i) \log P(A_i)=0</math> とみなす。これは <math>\lim_{p\to 0+}{p \log p} = 0</math> であることによる。

また、[[離散型確率変数]] {{mvar|X}} が[[確率分布]] {{mvar|P}} に従う場合には、 {{mvar|X}} の'''エントロピー''' {{math|''H''(''X'')}} を自己情報量 {{mvar|I}} の[[期待値]]によって定義する。すなわち、
:<math>H(X)
= \mathbb{E}_P[I(X)]
= - \sum_{x \in X} f_X(x) \log f_X(x)
</math>
である<ref>{{Cite book |last=Cover |first=Thomas M. |title=Elements of Information Theory |date=2012-11-28 |publisher=John Wiley & Sons |language=en |isbn=978-1-118-58577-1 |url={{Google books|VWq5GG6ycxMC|Elements of Information Theory|page=14|plainurl=yes}} |last2=Thomas |first2=Joy A. |p=14}}</ref>。ここで {{math|''f''<sub>''X''</sub>}} は {{mvar|X}} の[[確率質量関数]]である<ref>{{math|''f''<sub>''X''</sub>(''x'')}} を<math>P_X(x) = P(X=x) = P(\{\omega\in\Omega \mid X(\omega)=x\})</math>と書くこともある。</ref>。

<math>0 \leqq I(\cdot)</math> より、エントロピーは常に非負である。

確率変数 {{mvar|X}} と {{mvar|Y}} の組 {{math|(''X'', ''Y'')}} も確率変数とみなせる。この確率変数の値の発生確率すなわち[[同時分布|同時確率]]を <math>P_{X,Y}(X, Y)</math> とすると、 {{math|(''X'', ''Y'')}} のエントロピー <math>H(X,Y)</math> は
:<math>H(X,Y) 
= \mathbb{E}_{P_{X,Y}}[I(X, Y)]
= - \sum_{(x,y)\in(X,Y)} P_{X,Y}(x,y) \log P_{X,Y}(x,y)</math>
になる。これを[[結合エントロピー]]と呼ぶ。

{{math|(''X'', ''Y'')}} が互いに[[独立]]な確率変数である場合には、<math>H(X,Y)</math> は <math>H(X)+H(Y)</math> に一致する。すなわち、全体の情報量 <math>H(X,Y)</math> は、それぞれの確率変数の情報量の和である。

しかし、 {{mvar|X}} と {{mvar|Y}} が互いに独立ではない場合は、<math>H(X,Y)</math> と <math>H(X)+H(Y)</math> は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を'''[[相互情報量]]'''と呼び、
:<math>I(X,Y) = H(X) + H(Y) - H(X,Y)</math>
で表す。相互情報量は常に非負の値になる。

事象{{mvar|B}} が生じているという条件下における事象{{mvar|A}} の'''条件付き情報量'''を <math>-\log\Pr(A \mid B)</math> によって定める。確率変数 {{mvar|X}} が与えられたとき、事象「<math>X=x</math>」の条件付き情報量 <math>-\log \Pr(X=x \mid B)</math> の {{mvar|x}} に関する加重平均を'''条件付きエントロピー'''と言い、
:<math>H(X \mid B)
= \mathbb{E}_{P_{X \mid B}}[I(X \mid B)]
= - \sum_{x \in X} \Pr(X = x \mid B) \log \Pr(X = x \mid B)</math>
で表す。

さらに確率変数 {{mvar|Y}} が与えられたとき、事象「<math>Y=y</math>」が生じているという条件下における条件付きエントロピー<math>H(X \mid Y=y)</math>の {{mvar|y}} に関する加重平均
:<math>H(X \mid Y)
= \sum_{y \in Y} \Pr(Y=y) H(X \mid Y=y)
= - \sum_{x \in X, y \in Y} \Pr(X=x, Y=y) \log{\Pr(X=x \mid Y=y)}
</math>
も、やはり'''条件付きエントロピー'''と呼ぶ。

=== エントロピーの基本的性質 ===
* 情報量は確率だけによって決まる。
* 情報量は非負の値または無限大を取る。
* {{mvar|n}} ビットのビット列の空間（[[情報源]]）から（一様ランダムとは限らない方法で）ランダムにビット列を選んだときのエントロピーは、{{mvar|n}} 以下になる。エントロピーが {{mvar|n}} になる必要十分条件は、ビット列が一様ランダムに選ばれることである。
* 確率変数 ''X'' と ''Y'' が独立である必要十分条件は、<math>H(X)+H(Y)=H(X,Y)</math> が成立することである。

=== コイン投げの例 ===
あるコインを投げたときに表が出る確率を <math>p</math>、裏が出る確率を <math>1 - p</math> とする。このコインを投げたときに得られる平均情報量（エントロピー）は、
:<math>H(X)= - p \log{p} - (1-p)\log{(1-p)}</math>
である。

この関数<math>f(p)= - p \log{p} - (1-p)\log{(1-p)}</math>を'''エントロピー関数'''と呼ぶ。

[[画像:entropy_coin.png]]

図を見ると分かるように、<math>p=0</math> と <math>p=1</math> では {{mvar|H}} はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。 {{mvar|H}} が最大になるのは <math>p=1/2</math> のときであり、一般にすべての事象（できごと）が等確率になるときにエントロピーが最大になる。

== 連続系のエントロピー ==
実数値を取る確率変数''X''の確率密度関数を''p''(''x'')とするとき、''X''のエントロピーを

::<math>h(X) = - \int_{-\infty}^{\infty}p(x)\log p(x) dx </math>

によって定義する。

''X''が有限集合に値を取る確率変数である場合には、''X''のシャノン情報量<math>H(X)</math>も定義できる。''X''が''n''通りの値を取るとき、<math>H(X)</math>と<math>h(X)</math>は、

::<math>h(X) = H(U_n) - H(X) </math>
を満たす。

ただし、ここで<math>U_n</math>は''n''元集合上の一様分布とする（すなわち<math>H(U_n)=\log n</math>）。

== Renyiエントロピー ==
<math>\Omega</math>を、台が有限集合である確率空間とする。''P''を<math>\Omega</math>上の確率分布とし、<math>\alpha</math>を非負の実数とする。

<math>\alpha\neq 1</math>のとき、''P''のdegee <math>\alpha</math>の'''Renyiエントロピー'''を

::<math>H_{\alpha}(P)=\frac{\log(\sum_{A\in\Omega}P(A)^{\alpha})}{1-\alpha}</math>

によって定義する。
また、<math>\alpha=1,\infty</math>の場合には、Renyiエントロピーを

::<math>\left\{ \begin{array}{lll} H_1(P) &= \lim_{\alpha\to 1}&H_{\alpha}(P)\\  H_{\infty}(P) &= \lim_{\alpha\to\infty}&H_{\alpha}(P) \end{array} \right.</math>
によって定義する。

単に'''Renyiエントロピー'''と言った場合は<math>H_2(P)</math>を意味することも多い。

さらに、確率変数''X''が確率分布''P''に従うとき、<math>H_{\alpha}(X)</math>を<math>H_{\alpha}(X)=H_{\alpha}(P)</math>によって定義する。

Renyiエントロピーは以下の性質を満たす：

* <math>H_0(P) = \log\#\Omega</math> が成立する。
* <math>H_1(P)</math> はシャノン情報量 <math>H(P) = -\sum_{A\in\Omega} P(A)\log P(A)</math> と一致する。
* <math>\alpha</math> が2以上の整数の場合には、 <math>H_{\alpha}(P) = \frac{1}{1-\alpha} \log\Pr(X_1=\cdots=X_\alpha)</math> が成立する。ここで、 <math>X_1,\ldots,X_\alpha</math> は確率分布 <math>P</math> に従う独立同一分布であって、 <math>\Pr(X_1=\cdots=X_\alpha)</math> は <math>x_1,\ldots,x_\alpha</math> をそれぞれ<math>X_1,\ldots,X_\alpha</math> に従って選んだときに<math>x_1=\cdots=x_\alpha</math> が成立する確率とする。
* <math>H_{\infty}(P)=\min_{A\in\Omega}\{-\log P(A)\}</math> が成立する。この <math>H_{\infty}(P)</math> を'''minエントロピー'''ともいう。

== 歴史 ==
「エントロピー」の概念は[[1865年]]に[[ルドルフ・クラウジウス]]がギリシャ語の「変換」を意味する言葉を[[語源]]として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。[[1929年]]には[[レオ・シラード]]が、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット（1 シャノン）と呼ぶ量が統計力学で ''k'' ln 2 に対応するという関係を導いていた<ref>Szilard, L. (1929) {{lang|de|"Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", ''Zeitschrift für Physik''}} '''53''':840&ndash;856</ref>。

現在の情報理論におけるエントロピーの直接の導入は[[1948年]]の[[クロード・シャノン]]によるもので、その論文『[[通信の数学的理論]]』でエントロピーの概念を情報理論に応用した{{sfn|Cover|Thomas|2006|loc={{google books quote|id=VWq5GG6ycxMC|page=54|text=Historical Notes}}}}。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚[[ジョン・フォン・ノイマン|フォン・ノイマン]]が、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる<ref>『ファインマン計算機科学』 p. 96 ファインマンによる脚注*8で、「言い伝えによれば」と断りのうえでこの説を紹介している。</ref><ref>韓太舜、小林欣吾『情報と符号の数理』</ref>。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している<ref>[http://www.ieeeghn.org/wiki/index.php/Oral-History:Claude_E._Shannon CLAUDE E. SHANNON: An Interview Conducted by Robert Price, 28 July 1982]</ref>。

なお、シャノン以前にも[[ラルフ・ハートレー]]が[[1928年]]に、集合''A''に対して<math>\log \# A</math>という量を考察している（“<math>\#A</math>”は''A''の[[集合#濃度|元数]]）。<math>\log \# A</math>は''A''上の一様分布のエントロピーに一致する。現在では、<math>\log \# A</math>を''A''の'''ハートレー・エントロピー'''と呼ぶ<ref>なお、JIS X 0016:1997 で定義される選択情報量（decision content）も同じ定義である。「互いに排反な事象から成る有限集合中の事象の数の対数。」</ref>。

== 単位 ==

情報量は本来[[無次元数|無次元]]の量である。しかし、対数の底として何を用いたかによって値が異なるので，単位を付けて区別している。前述のように、情報量は確率の逆数の'''桁数'''の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、[[ネイピア数|e]]、10を選んだときの情報量の単位は、それぞれ'''[[ビット]]'''(bit)、'''ナット'''(nat)、'''ディット'''(dit)である。

また、今のところ主流ではないものの、1997年に[[日本工業規格]] JIS X 0016:1997（これは国際規格 [[国際標準化機構|ISO]]/IEC 2382-16:1996と一致している）は、これらの量を表す単位を別に定めている。

{| class="wikitable"
|+'''対数の底と単位'''
|-
! 底 !! 通常の単位 !! JISおよびISOが定めた単位 !! 備考
|-
| 2  || ビット (bit) || [[シャノン (単位)|シャノン]] (shannon) || lb, 二進対数
|-
| [[ネイピア数|e]]=2.718… || ナット (nat) || [[ナット (単位)|ナット]] (nat) || ln, 自然対数
|-
| 10 || ディット (dit)|| [[ハートレー (単位)|ハートレー]] (hartley) || lg, 常用対数
|}

単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案した[[クロード・シャノン]]、[[ラルフ・ハートレー]]にちなむ。

== 脚注 ==
{{脚注ヘルプ}}
<references />

== 参考文献 ==
* [http://www.shannonentropy.netmark.pl Shannon entropy calculator] (English)
* [http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf ''A Mathematical Theory of Communication''] Shannon 1948 (English)
* {{Cite book |ref=harv |last=Cover |first=Thomas M. |title=Elements of information theory |edition=Second |year=2006 |publisher=John Wiley & Sons |isbn=978-0-471-24195-9 |url={{google books|VWq5GG6ycxMC|plainurl=yes}} |last2=Thomas |first2=Joy A. |mr=2239987}}

== 関連項目 ==
* [[標本化定理]]（シャノンの定理）
* [[データ量の比較]]
* [[エントロピー]]
* [[マクスウェルの悪魔]]
* [[ハフマン符号]]
* [[コルモゴロフ複雑性]]
* [[ランダウアーの原理]]
* [[交差エントロピー]]
* [[結合エントロピー]]
* [[量子エントロピー]]

== 外部リンク ==
* {{脳科学辞典|記事名=情報量}}
* {{高校数学の美しい物語|1002|情報量の意味と対数関数を使う理由}}
* {{Cite web |url=https://kikakurui.com/x0/X0016-1997-01.html |title=JISX0016:1997 情報処理用語（情報理論） |access-date=2023-10-28 |website=kikakurui.com |language=ja}}

{{Normdaten}}
{{確率論}}
{{データ圧縮}}

{{DEFAULTSORT:しようほうりよう}}
[[Category:情報理論]]
[[Category:エントロピー]]
[[Category:数学に関する記事]]