エントロピーレートのソースを表示

{{情報理論}}

[[確率]]の数理理論において[[確率過程]]の'''エントロピーレート'''（{{Lang-en-short|entropy rate}}）または情報源レート（source information rate）とは、平たく言えば、確率過程における情報量の時間平均である。[[可算集合|可算個]]の時間添字を持つ確率過程の[[情報量|エントロピー]]レート <math>H(X)</math> は、<math>n</math> ステップまでの <math>X_k</math> の[[結合エントロピー]]を <math>n</math> で割った量の、<math>n</math> が無限大に向かうときの[[極限]]と定義される（極限が存在するときに限る）：

:<math>H(X) = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n)</math>

一方、関連する量に

:<math>H'(X) = \lim_{n \to \infty} H(X_n|X_{n-1}, X_{n-2}, \dots X_1)</math>

がある。[[定常過程|強定常過程]]に対しては <math>H(X) = H'(X)</math> となる。エントロピーレートは確率過程の一般的性質として捉えることができ、これは{{仮リンク|漸近等分割性|en|asymptotic equipartition property}}と呼ばれる。エントロピーレートは確率過程の複雑性の推定にも使うことができる。また、言語の複雑性の特徴付け、[[ブラインド信号源分離]]、量化子器の最適化、データ圧縮アルゴリズムといった広範な対象に応用される。例えば、エントロピーレート最大化基準は[[機械学習]]における[[特徴選択]]に利用することができる<ref>{{cite journal |last1=Einicke |first1=G. A. |title=Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running |journal=IEEE Journal of Biomedical and Health Informatics |volume=28 |issue=4 |pages=1097–1103 |year=2018 |doi= 10.1109/JBHI.2017.2711487 }}</ref>。

== マルコフ連鎖のエントロピーレート ==
既約、非周期的で正の再帰確率を持つ[[マルコフ連鎖]]から定義される確率過程は極限分布を持ち、エントロピーレートは初期分布に依存しない。

例えば、マルコフ連鎖 <math>Y_k</math> が可算個の状態と[[確率行列]] <math>P_{ij}</math> で定義されているとき、<math>H(Y)</math> は

:<math>\displaystyle H(Y) = - \sum_{ij} \mu_i P_{ij} \log P_{ij}</math>

で与えられる。ここで <math>\mu_i</math> はマルコフ連鎖の定常分布。

定義からの簡単な帰結として、[[独立同分布]]の確率変数列から成る確率過程のエントロピーレートは、各ステップの確率分布のエントロピーと一致する。

==関連項目==
* [[情報量]]
* {{仮リンク|マルコフ情報源|en|Markov information source}}
* {{仮リンク|漸近等分割性|en|asymptotic equipartition property}}
* {{仮リンク|最大エントロピーランダムウォーク|en|Maximal Entropy Random Walk}} - エントロピーレートが最大になるよう選択されたもの。

==脚注==
{{脚注ヘルプ}}

{{Reflist}}

==参考文献==
* Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., {{ISBN2|0-471-06259-6}} [https://archive.today/20121216133431/http://www3.interscience.wiley.com/cgi-bin/bookhome/110438582?CRETRY=1&SRETRY=0]

{{DEFAULTSORT:えんとろひいれえと}}
[[Category:情報理論]]
[[Category:信号処理]]
[[Category:確率論]]
[[Category:確率過程]]
[[Category:統計学]]
[[Category:数学に関する記事]]