最大エントロピー原理のソースを表示

{{出典の明記|date=2021年2月}}
{{ベイズ統計学}}
'''最大エントロピー原理'''（さいだいエントロピーげんり、{{lang-en-short|principle of maximum entropy}}）は、[[ベイズ確率|認識確率]][[確率分布|分布]]を一意に定めるために利用可能な[[情報]]を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は[[1957年]]に[[統計力学]]の[[ギブズ分布]]を持ち込んだ[[熱力学]]（{{仮リンク|最大エントロピー熱力学|en|Maximum entropy thermodynamics}}）を提唱した際に、この原理も提唱したものである。彼は、熱力学や[[エントロピー]]は、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも[[事前確率]]を明示的に利用する。これは古典的統計学における推定手法の代替である。

== 概要 ==
今確率変数 {{Mvar|X}} について、{{Mvar|X}} が条件 {{Mvar|I}} を満たす事だけが分かっており、それ以外に {{Mvar|X}} に関して何1つ知らなかったとする。このとき、{{Mvar|X}} が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は {{Mvar|X}} について条件 {{Mvar|I}} 以外には何も知らないのだから、条件 {{Mvar|I}} の下で {{Mvar|X}} の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。

最大エントロピー原理は、「不確かさ」を図る尺度である[[情報量|エントロピー]]を条件 {{Mvar|I}} の下で最大にするよう分布を選ぶべきである、という原理である。ただし {{Mvar|X}} の取る値が連続的な場合は、技術的な理由により[[微分エントロピー]]ではなく、後述の相対エントロピーを最大化する（Jaynesによれば、様々な理由により、こちらの方が「真の」エントロピーの概念である。）。

{{Mvar|X}} が従う確率分布を {{Mvar|'''p'''}} とするとき、束縛条件 {{Mvar|I}} として

: <math>g_k (\boldsymbol{p} )=0 \quad k=1,2,\dotsc\,</math>

のように {{Mvar|'''p'''}} に関する方程式の形で書けているものを考える。このような制限付き最適化問題は一般に[[ラグランジュの未定乗数法]]で解くことが出来る。

===具体例===
{{see also|:en:maximum entropy probability distribution}}
制約条件 {{Mvar|I}} により、エントロピーを最大化する分布は以下のようになる：

*{{Mvar|X}} が区間 [a,b] にある事だけが分かっている ⇒ {{Mvar|X}} は {{Math|[''a'', ''b'']}} 上の[[一様分布]]
*{{Mvar|X}} の[[平均]] {{Mvar|&mu;}} と[[分散 (確率論)|分散]] {{Math|''&sigma;''<sup>2</sup>}} だけが分かっている ⇒ {{Mvar|X}} は[[平均]] {{Mvar|&mu;}} 、[[分散 (確率論)|分散]] {{Math|''&sigma;''<sup>2</sup>}} の[[正規分布]]
*{{Mvar|X}} が区間 [a,b] にあり、平均 {{Mvar|&mu;}} と分散 {{Math|''&sigma;''<sup>2</sup>}} だけが分かっている ⇒ [[切断正規分布]]。ただし、切断する前の正規分布の平均と分散は {{Mvar|&mu;}} や {{Math|''&sigma;''<sup>2</sup>}} とずれが生じる。
*{{Mvar|X}} の平均 {{Mvar|&mu;}} と平均絶対[[偏差]] {{Mvar|b}} だけが分かっている ⇒ [[ラプラス分布]]
*{{Mvar|X}} が正値で平均 {{Mvar|&mu;}} である事だけが分かっている ⇒ 連続の場合は平均 {{Mvar|&mu;}} の[[指数分布]]、離散の場合は[[幾何分布]]
*{{Mvar|X}} の値域が有限集合 {{Math|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}} で平均が {{Mvar|&mu;}} である事だけが分かっている ⇒ <math>\operatorname{Pr} (X=x_k )=Cr^{x_k} \quad \mbox{ for } k=1,\dotsc ,n</math> という形の分布。

== 相対エントロピー ==
確率変数 {{Mvar|X}} が従う分布の密度関数を {{Math|''p''(''x'')}} とし、 {{Math|''m''(''x'')}} を確率分布（もしくはより一般に非負の[[測度]]）の密度関数とするとき、{{Math|''p''(''x'')}} の {{Math|''m''(''x'')}} に対する '''相対エントロピー'''は

:<math>-\int p(x)\log \frac{p(x)}{m(x)} \mathrm dx</math>

により定義される {{Harv|Jaynes|1963}}, {{Harv|Jaynes|1968}}, {{Harv|Jaynes|2003}}（{{Math|''m''(''x'')}} が確率分布であれば、相対エントロピーは[[カルバック・ライブラー情報量]]に一致）。

なお、通常のシャノン・エントロピー

: <math>-\sum_{i\in I} p_i \log p_i</math>

は {{Mvar|X}} の値域 {{Mvar|I}} が有限集合で、 {{Math|''m''(''x'')}} が {{Mvar|I}} 上の一様分布である場合の相対エントロピーと一致する。
<!--
[[確率分布#連続確率分布（絶対連続分布）|連続分布]]でも、シャノンのエントロピーの単純な定義は有効である（[[差分エントロピー]]）。しかし、それよりも有効なのが分布に関する[[相対エントロピー]]である（E.T. Jaynes、1963、1968、2003）。

:<math>H_c =-\int p(x)\log \frac{p(x)}{m(x)} \, dx</math>

ここで ''m''(''x'') はJaynes が「不変測度; invariant measure」と呼んだ値であり、離散点の制限密度に比例する。ここではその値は既知であると仮定し、解となる方程式が得られてから、再びそれについて検討する。

相対エントロピーは ''p'' から ''m'' の[[カルバック・ライブラー情報量]]として定義されるのが一般的である（時にその符号を反転させた値を間違って使う場合もある）。カルバックによれば、この値を最小化させる推定原理を「最小判別情報の原理; Principle of Minimum Discrimination Information」と呼ぶ。
-->

== 期待値に制約がある場合の一般解 ==
=== 一般解 ===
''X'' を実数値の確率変数とし、 ''k''=1,...,''m'' に対し、 ''T<sub>k</sub>'' を実数値関数、 ''t<sub>k</sub>'' は実数とする。今 ''X'' の[[統計量]] ''T<sub>k</sub>(X)'' の期待値が ''t<sub>k</sub>'' である、すなわち

: (1) <math>\int p(x)T_k(x)dx=t_k \qquad k=1, \dotsc ,m</math>

である事が分かっているとする。さらにもちろん確率の総和は 1 であるという事も分かっている。すなわち、

: (2) <math>\int p(x)=1.\,</math>

これらの条件下、相対エントロピー

: <math>-\int p(x)\log \frac{p(x)}{m(x)} \, dx</math>

を最大化する分布の確率密度関数''p(x)'' は以下のものである：

: <math>p(x)= \frac{1}{Z(\lambda_1 ,\dotsc, \lambda_m )} m(x)\exp \left[ \lambda_1 T_1 (x)+\dotsb +\lambda_m T_m (x)\right]</math>

ここで <math>Z(\lambda_1 ,\dotsc ,\lambda_m )</math> は「正規化定数」（=確率の和が1になるよう全体を調整する為の値）であり、

: <math>Z(\lambda_1 ,\dotsc ,\lambda_m )=\int m(x)\exp \left[ \lambda_1 T_1 (x)+ \dotsb +\lambda_m T_m (x)\right] dx.\,</math>

また''&lambda;''<sub>1</sub>,..., ''&lambda;<sub>m</sub>''は[[ラグランジュの未定乗数法|未定乗数法]]におけるラグランジュ乗数であり、これらは連立方程式

:<math>t_k =\frac{\partial}{\partial \lambda_k } \log Z(\lambda_1 ,\dotsc , \lambda_m ) \qquad k=1,\dotsc ,m</math>

を満たす値として定まる。この連立方程式は一般には解析的に解くことができないので、[[数値解析]]で解くのが普通である。

<!--''m(x)'' は「関連情報の不足」を符号化した事前密度関数とみなす事ができる。-->
最大エントロピー原理では ''m''(''x'') を既知として扱うので、 ''m''(''x'') は最大エントロピー原理では決定できない。よって何らかの他の論理的手法、例えば「変換群の原理; principle of transformation groups」や[[条件付き確率]]、で決定しなければならない。

=== 離散の場合の解 ===
今、確率変数 ''X'' が前述した(1)、(2)の条件の他に

: (3) ''X'' の値域は {''x<sub>1</sub>'', ''x<sub>2</sub>'',..., ''x<sub>n</sub>''} である

という事が分かっていたとする。（すなわち''X'' は[[離散確率分布]]。）

さらに ''m''(''x'')=1 である場合（この場合相対エントロピーは通常の離散の場合のエントロピーと一致）を考える。

このとき、制約条件(1)、(2)、(3)の下で最大エントロピーを達成する分布の確率密度関数''p(x)'' は以下のもの('''[[ギブズ分布]]''')になる:

:<math>p(x_i )=\frac{1}{Z(\lambda_1 ,\dotsc , \lambda_m )} \exp \left[ \lambda_1 T_1 (x_i )+\dotsb +\lambda_m T_m (x_i )\right]</math>

<math>Z(\lambda_1 ,\cdots , \lambda_m )</math> および&lambda;<sub>1</sub>, …, &lambda;<sub>m</sub> は前述と同様の式で求まる。

なお、上の解において <math>(T_1 ,...,T_m )</math> を''X'' の統計量と見なすと、 <math>(T_1 ,...,T_m )</math> はパラメータ (''&lambda;''<sub>1</sub>,..., ''&lambda;<sub>m</sub>'') の[[十分統計量]]である。興味深い事に、確率分布が十分統計量を持つ必要十分条件は、確率密度関数が上の形で書ける事である([[:en:Pitman-Koopman theorem|Pitman-Koopmanの定理]])。<!--←「最大エントロピー原理」の英語版より-->
詳細は[[:en:exponential family]]を参照。<!--←こちらだと必要十分条件はexponential familyだと書いてあって記述が矛盾するような...仮定の部分が異なる為？-->

=== 他の特殊な場合 ===
今確率変数 ''X'' の値域が[[区間 (数学)|区間]] (''a'', ''b'') である事（と確率の総和が1である事)のみが分かっていて他には何も分かっていないとする。この場合相対エントロピーを最大化する分布の確率密度関数は次のようになる。

:<math>p(x)=m(x)/Z, \qquad a<x<b</math>

ここで ''Z'' は正規化定数である。

== 最大エントロピー原理の正当化 ==
確率変数 ''X'' がごく自然な方法で得られるという「思考実験」をするとその実験の帰結が最大エントロピー原理と一致する事を示す。この主張は1962年に Graham Wallis が E.T. Jaynes に示唆したことから導き出された（Jaynes, 2003）ものであり、基本的に[[統計力学]]において[[マクスウェル分布]]を導出する際の手法と同一であるが、概念的な意味は異なる。

''X'' を ''m'' 通りの値を取る確率変数とする（マクスウェル分布のシナリオでは''X'' の取りうる値は速度空間上の ''m'' 個の微小領域）。話を簡単にする為、以下、''X'' の取りうる値が1,...,''m'' である場合を考えるが、一般の場合も同様である。今''X'' について、''X'' の取りうる値が1,...,''m'' である事と、 ''X'' が条件 ''I'' を満たす事のみを知っていて他には何も知らないとする。このとき、''X'' がどのような分布に従うと考えるのが自然であろうか。これを考える為、以下の[[思考実験]]を行う。

''N'' を十分大きな値とし、大きさ ''1/N'' の微小な「確率のカケラ」を''N'' 個用意し（マクスウェル分布のシナリオでは、各々のカケラは分子に対応する）、そして各々のカケラを ''x'' 軸上の 1,...,''m'' のいずれかの場所の上においていく。全てのカケラを置き終わったら、各 <math>i\in \{ 1,\dotsc ,m\}</math> に対し、
:<math>n_i=\,</math> (''i'' の上にあるカケラの数)<math>\,</math>
:<math>p_i=n_i/N\,</math>
とする。 <math>p_i</math> は <math>\Sigma{}_i p_i =1</math><!--←Sigmaをsumに変えると改行がおかしくなるので変えるべからず---> を満たすので、 <math>(p_1 ,\dotsc ,p_m )</math> を確率分布と見なす事ができる。

今我々が ''X'' について知っているのは、 ''X'' が条件 ''I'' を満たす事（と取りうる値が 1,...,''m'' である事）だけである。また ''N'' は十分大きいので、以上の方法で作った分布 <math>(p_1 ,\dotsc ,p_m )</math> はいかなる分布をも十分によく近似できる。従って、 ''X'' の従う確率分布が以下の方法で決められていると仮定するのは自然であろう：

* 前述の思考実験に従い、 <math>p_1 ,\dotsc ,p_m</math> を決める。ただし各カケラを ''1,...,m'' のいずれの場所に置くのかは一様ランダムに決める。
* 分布 <math>(p_1 ,\dotsc ,p_m )</math> が条件 ''I'' を満たせば、 <math>\Pr [X=i] =p_i</math> とする。
* そうでなければ、カケラを全て片付けて最初からやり直す。

以上の方法で分布を生成したときに「 ''X'' が分布<math>\boldsymbol{p}</math>に従う確率」を <math>\Pr[\boldsymbol{p} \mid I]</math> とする。

以上の考察を踏まえると、

: ''X'' は <math>\Pr [\boldsymbol{p} \mid I]</math> が最大になる分布<math>\boldsymbol{p}</math>に従う

と見なすのが自然である事が分かる。

明らかに <math>\boldsymbol{p}</math> は（条件 ''I'' の付いた）[[多項分布]]に従うので、

: <math>\Pr[\boldsymbol{p} \mid I]</math> は <math>W=\frac{N!}{n_1 !n_2 ! \dotsb n_m !}</math> に比例する。

ただし <math>\boldsymbol{p}</math> が条件 ''I'' を満たさない場合は

:<math>\Pr [\boldsymbol{p} |I]=0.\,</math>

よって<math>\Pr [\boldsymbol{p} \mid I]</math>は条件 ''I'' を満たす <math>\boldsymbol{p}</math> により最大化される。

<math>\log</math> の[[凸関数|凸性]]より、 <math>\Pr [\boldsymbol{p} \mid I]</math> を最大化するという事は <math>\frac{1}{N} \log W</math> を最大化するのと等価である。そこで最後に ''N'' &rarr; &infin; とすると以下が従う。

: <math>\begin{align} &\frac{1}{N} \log W=(\log N!-\sum_i \log n_i !)/N \underset{\text{(1)}}{\approx} (N\log N - \sum_i n_i \log n_i)/N
 \underset{\text{(2)}}{=} \log N-\sum_i p_i \log Np_i
 \underset{\text{(3)}}{=} -\sum_i p_i \log p_i =H(\boldsymbol{p} ) 
\end{align}</math>
ここで(1)、(2)、(3)はそれぞれ[[スターリングの公式]] <math>n!\approx n^n</math> 、 <math>p_i =n_i /N</math> 、 <math>\Sigma{}_i p_i =1</math><!--←Sigmaをsumに変えると改行がおかしくなるので変えるべからず--> より。

よって以上の方法で ''X'' が従う最も自然な分布を選ぶという事は、最大エントロピー原理に従って ''X'' の従う分布を決める事を意味する。

=== より一般的な場合の正当化 ===
上ではカケラが ''m'' 個の場所のどれに配置されるのも等確率である場合を考察したが、より一般に配置される場所毎に確率が異なる場合を考察する。 ''i'' 番目の場所に配置される確率が ''q<sub>i</sub>'' であるとすると、 <math>\boldsymbol{p}</math> は（条件 ''I'' の付いた）[[多項分布]]に従う事から、

:<math>\Pr [\boldsymbol{p} \mid I]</math> は <math>W=\frac{N!}{n_1 !n_2 ! \dotsb n_m!} {q_1}^{n_1} \dotsb {q_m}^{n_m}</math> に比例する。

よってこの場合は
: <math>\begin{align} &\frac{1}{N} \log W=\left( \log N!-\sum_i \log \frac{n_i!}{{q_i}^{n_i}}\right)/N \approx \left( N\log N- \sum_i n_i \log \frac{n_i}{q_i} \right) /N=\log N-\sum_i p_i \log \frac{Np_i}{q_i} =-\sum_i p_i \log \frac{p_i}{q_i}  
\end{align}</math>

となり、相対エントロピーを最大化するように ''X'' の分布を選ぶ事となる。

== 物理学への応用 ==
=== マクスウェル分布 ===
[[統計力学]]における'''[[マクスウェル分布]]'''は、容器中に気体（1種類の物質からなり、かつ[[定常状態]]にある）が閉じ込められている状況において、容器中の各分子の速度が従う確率分布で、分子の速度を <math>(v_x ,v_y ,v_z )</math> とすると、この分布の確率密度関数は

: <math>p(v_x ,v_y ,v_z )=\frac{1}{Z} \mathrm{exp}\left(\lambda \frac{m({v_x}^2 +{v_y}^2 +{v_z}^2 )}{2}\right)</math>

となる。ここで ''Z'' は正規化定数で、λは[[逆温度]]（＝[[絶対温度]]の逆数。通常はβで表すがここでは前節までと記号を合わせる為λと書く）。

マクスウェル分布は、最大エントロピー原理から以下のようにして導く事ができる。

容器中に気体（1種類の物質からなり、かつ[[定常状態]]にある）が閉じ込められているとし、その気体を構成する各分子の速度を考える。各分子が取りうる速度全体のなす空間('''速度空間''' )を考えると、速度は3次元のベクトル <math>(v_x ,v_y ,v_z )</math> で表す事ができるので、速度空間は、3次元ベクトル空間（の有限体積の部分集合）となる。

速度空間を <math>\ell</math> 個の領域に分け、容器中の分子がそれらの領域のどこに属するかを考える。各分子は互いに衝突を繰り返す事でランダムにその位置や速度を変えるが、今気体は定常状態にあるので、各領域にある分子の総数は時間が経過してもほとんど変化しない。

そこで ''i'' 番目の領域に含まれている分子の数を ''n<sub>i</sub>'' とし、容器中の分子の総数を ''N'' とし、 <math>p_i =n_i /N</math> とすると、各分子が領域''i'' に含まれている確率は <math>p_i</math> である。

速度空間の各点における分子の存在確率が常に等しいとする('''等確率の原理''')と、各分子が領域 ''i'' にある確率は、領域の体積に比例すると考えられるので、1 番目、...、 <math>\ell</math> 番目の領域に入っている分子の個数がそれぞれ <math>n_1 ,\dotsc ,n_\ell</math> である確率を考える。
'''各分子が区別できないと仮定すると'''、多項分布より、

: <math>W=\frac{N!}{n_1 !\dotsb n_\ell !} {V_1}^{n_1} \dotsb {V_\ell}^{n_\ell}</math>

に比例する。

気体が定常状態にある事から、気体の分布は、分子の運動エネルギーの期待値が一定値であるという条件下、 <math>W</math> が最大になる状態にあると考えられる。

[[最大エントロピー原理#より一般的な場合の正当化|前節]]で説明したように、分子の数→∞の極限において、<math>W</math> を最大化する事は、相対エントロピー

: <math>\sum_i p_i \log \frac{p_i}{V_i}</math>

を最大化する事に等しい。確率と体積の比 <math>p_i /V_i</math> は確率の「密度」を表すので、速度空間を分割する領域の数→∞とすると、

: <math>\sum_i p_i \log \frac{p_i}{V_i} =\sum_i \frac{p_i}{V_i} (\log \frac{p_i}{V_i} ) V_i \to \int p(v_x ,v_y ,v_z ) \log p(v_x ,v_y ,v_z )d v_x d v_y d v_z</math> 

となる。ここで <math>p(v_x,v_y,v_z)</math> は確率密度関数。従って気体はこの値を最大化するように振る舞う。

さて、分子の運動エネルギーの期待値が一定であるという前述した条件を数式で書き表すと

: <math>E(m({v_x}^2 +{v_y}^2 +{v_z}^2 )/2)=\,</math> 一定

と書ける。ここで ''m'' は分子の質量。

この条件は、 <math>{v_x}^2 ,~ {v_y}^2 ,~ {v_z}^2</math> に関する期待値なので（確率密度関数 <math>p(v_x ,v_y ,v_z )</math> も <math>{v_x}^2 ,~ {v_y}^2 ,~ {v_z}^2</math> に関する関数と見なせるので）、[[最大エントロピー原理#期待値に制約がある場合の一般解|前の節]]で示した期待値が制約されている場合の最大エントロピー原理の一般解を適用する事で、

: <math>p(v_x ,v_y ,v_z )=\frac{1}{Z} \exp \left( \lambda \frac{m({v_x}^2 +{v_y}^2 +{v_z}^2 )}{2} \right)</math>

である事が分かる。

=== エントロピー増大則 ===
今、1つの容器があるとし、容器の中央には板が入っていて、容器の右半分と左半分が仕切られているとする。この状態で二種類の気体''A''、''B'' がそれぞれ容器の右半分、左半分に入れられているときに、容器中の分子が従う分布は、最大エントロピー原理により、

: (1) ''A'' は容器の右半分、 ''B'' は左半分に入っている

という条件下でエントロピーを最大化する。

次に板を外すと、容器中の分子の分布が変化する。この状態で分子が従う分布は、再び最大エントロピー原理により、

: (2) ''A'' 、''B'' が容器に入っている

という条件下でエントロピーを最大化する。

明らかに条件(2)は条件(1)よりも弱い。従って条件(2)の下での最大値は、条件(1)の下での最大値よりも大きい（小さくない）。すなわち、板を外す事でエントロピーは増大する。

==参考文献==
* {{cite book
 |last=Jaynes |first=E. T. |authorlink = :en:Edwin Thompson Jaynes
 |year=1963
 |url=http://bayes.wustl.edu/etj/node1.html
 |chapter=Information Theory and Statistical Mechanics
 |title=Statistical Physics
 |editor=Ford, K. (ed.)
 |publisher=Benjamin |location=New York |page=181
|date=|ref=harv}}
* Jaynes, E. T., 1986 (new version online 1996), [http://bayes.wustl.edu/etj/articles/cmonkeys.pdf 'Monkeys, kangaroos and <math>N</math>'], in ''Maximum-Entropy and Bayesian Methods in Applied Statistics'', J. H. Justice (ed.), Cambridge University Press, Cambridge, p. 26.
* Bajkova, A. T., 1992, ''The generalization of maximum entropy method for reconstruction of complex functions''. Astronomical and Astrophysical Transactions, V.1, issue 4, p. 313-320.
* Jaynes, E. T., 2003, ''Probability Theory: The Logic of Science'', Cambridge University Press.
* Giffin, A. and Caticha, A., 2007, [https://arxiv.org/abs/0708.1593 ''Updating Probabilities with Data and Moments'']
* Guiasu, S. and Shenitzer, A., 1985,  'The principle of maximum entropy',  The Mathematical Intelligencer, '''7'''(1), 42-48.
* Harremoës P. and Topsøe F., 2001, ''Maximum Entropy Fundamentals'', Entropy, 3(3), 191-226.
* Kapur, J. N.; and Kesevan, H. K., 1992, ''Entropy optimization principles with applications'', Boston: Academic Press. ISBN 0-12-397670-7
* Kitamura, Y., 2006, [http://cowles.econ.yale.edu/P/cd/d15b/d1569.pdf ''Empirical Likelihood Methods in Econometrics: Theory and Practice''],Cowles Foundation Discussion Papers 1569, Cowles Foundation, Yale University.
* Lazar, N., 2003, "Bayesian Empirical Likelihood", Biometrika, 90, 319-326.
* Owen, A. B., ''Empirical Likelihood'', Chapman and Hall.
* Schennach, S. M., 2005, "Bayesian Exponentially Tilted Empirical Likelihood", Biometrika, 92(1), 31-46.
* Uffink, Jos, 1995, [http://www.phys.uu.nl/~wwwgrnsl/jos/mepabst/mep.pdf 'Can the Maximum Entropy Principle be explained as a consistency requirement?'], Studies in History and Philosophy of Modern Physics '''26B''', 223-261.
* <cite id=refJaynes1988>Jaynes, E. T., 1988, [http://bayes.wustl.edu/etj/articles/relationship.pdf 'The Relation of Bayesian and Maximum Entropy Methods'], in ''Maximum-Entropy and Bayesian Methods in Science and Engineering (Vol. 1)'', Kluwer Academic Publishers, p. 25-26.</cite>

==関連項目==
*[[ロジスティック回帰]]
*[[充足理由律]]

==外部リンク==
* Adwait Ratnaparkhi, [http://repository.upenn.edu/cgi/viewcontent.cgi?article=1083&context=ircs_reports "A simple introduction to maximum entropy models for natural language processing"] Technical Report 97-08, Institute for Research in Cognitive Science, University of Pennsylvania, 1997. 
*: 自然言語処理における最大エントロピー法の簡単な解説。
* [http://homepages.inf.ed.ac.uk/s0450736/maxent.html Maximum Entropy Modeling]
*:最大エントロピーモデルに関する論文やソフトウェア実装に関するリンク集がある。

{{確率論}}
{{Normdaten}}
{{デフォルトソート:さいたいへんとろひいけんり}}
[[Category:数学の原理]]
[[Category:統計学の原理]]
[[Category:情報理論]]
[[Category:人工知能]]
[[Category:ベイズ統計]]
[[Category:熱力学]]
[[Category:統計力学]]
[[Category:エントロピー]]
[[Category:数学に関する記事]]