交差エントロピーのソースを表示

{{情報理論}}
[[情報理論]]において、'''交差エントロピー'''（こうさエントロピー）または'''クロスエントロピー'''（{{lang-en-short|cross entropy}}）は、2つの[[確率分布]]の間に定義される尺度である。符号化方式が、真の確率分布 <math>p</math> ではなく、ある所定の確率分布 <math>q</math> に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となる[[ビット]]数の平均値を表す。

== 定義 ==
同じ[[確率空間]]における2つの分布 <math>p</math> と <math>q</math> において、<math>q</math> の <math>p</math> に対する交差エントロピーは、次のように定義される。

:<math>\mathrm{H}(p, q) = \mathrm{E}_p[-\log q] = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!</math>

ここで、<math>H(p)</math> は <math>p</math> の[[情報量|エントロピー]]、<math>D_{\mathrm{KL}}(p || q)</math> は <math>p</math> から <math>q</math> の[[カルバック・ライブラー情報量]]（相対エントロピー）である。

<math>p</math> と <math>q</math> が[[離散確率変数]]なら、これは次のようになる。

:<math>\mathrm{H}(p, q) = -\sum_x p(x)\, \log q(x) \!</math>

[[連続確率変数]]なら、同様に次のようになる。

:<math>-\int_X p(x)\, \log q(x)\, dx \!</math>

なお、<math>\mathrm{H}(p,q)</math> という記法は交差エントロピーだけでなく、[[結合エントロピー]]にも使われるので、注意が必要である。

== 対数尤度との関係 ==
分類問題において、異なる事象の確率を推定したいとする。N サンプルからなる訓練集合内における事象 <math>i</math> の頻度（経験的確率）が <math>p_i</math> である一方、事象 <math>i</math> の確率が <math>q_i</math> と推定されたとすると、訓練集合の尤度は次のようになる。

:<math>{\displaystyle \prod _{i}q_{i}^{Np_{i}}}</math>

この対数尤度をNで割ると、

:<math>{\displaystyle {\frac {1}{N}}\log \prod _{i}q_{i}^{Np_{i}}=\sum _{i}p_{i}\log q_{i}=-H(p,q)}</math>

となり、この尤度を最大化することは、交差エントロピーを最小化することと同義となる。

== 交差エントロピー最小化 ==
交差エントロピー最小化は、[[最適化問題]]と希少事象の予測によく使われる技法である（交差エントロピー法）。

確率分布 <math>q</math> を参照用固定確率分布 <math>p</math> と比較したとき、交差エントロピーとカルバック・ライブラー情報量は（<math>p</math> が固定なので）付加的な[[定数]]を除いて同一である。どちらも <math>p = q</math> であるとき最小値となり、カルバック・ライブラーの値は <math>0</math>、交差エントロピーの値は <math>\mathrm{H}(p)</math> となる。

ただし、[[カルバック・ライブラー情報量]]参照のとおり、''q'' を固定の参照用確率分布とし、''p'' を最適化して ''q'' に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。

== 交差エントロピー誤差 ==
[[機械学習]]・[[最適化 (情報工学)|最適化]]における'''交差エントロピー誤差'''（{{lang-en-short|cross entropy loss}}, '''CE loss'''）は交差エントロピーを用いた分布間距離表現による[[損失関数]]である。

真の確率 <math>p_i</math>が真のラベルであり、与えられた分布 <math>q_i</math>が現在のモデルの予測値である。

=== ロジスティック回帰 ===
より具体的に、[[ロジスティック回帰]]による[[二項分類]]を考える。すなわちロジスティック回帰モデルにより与えられた入力ベクトル <math>\mathbf{x}</math> から出力クラス <math>y\in\{0,1\}</math> を予測する。確率は標準[[シグモイド関数]] <math>g(z)=1/(1+e^{-z})</math> でモデル化される。重みベクトル <math>\mathbf{w}</math> を用いて出力 <math>y=1</math> を見出す確率は以下で与えられる：
: <math>q(y=1|x) \equiv
q_1\ =\ \hat{y}\ \equiv\ g(\mathbf{w}\cdot\mathbf{x})\ = 1/(1+e^{-\mathbf{w}\cdot\mathbf{x}})</math>
同様に、出力 <math>y=0</math> を見出す余事象の確率は以下で与えられる：
: <math>q(y=0|x) \equiv
q_0\ =\ 1-\hat{y}</math>
真の確率は <math>p(y=1|x) \equiv p_1 = y</math> および <math>p(y=1|x) \equiv p_0 = 1-y</math> で定式化される。教師有り二項分類では入力ベクトルに対応するラベルが一意に与えられるため、<math>p(y|x)</math> は必ず one-hot なカテゴリカル分布になる。このことは <math>y\in\{0,1\}</math> と次式より確かめられる：

: <math>p(y|x)
= y \ \text{or}\ 1-y
= 1 \ \text{or}\ 0
</math>

<math>p</math> と <math>q</math> との間の非類似性の尺度を交差エントロピーで表現すると次式が得られる：
: <math>H(p,q)
= -\sum_{i}^{\{1,0\}} p_i \log q_i
= -y \log \hat{y} - (1-y) \log(1-\hat{y})

</math>

ロジスティック回帰で用いられる典型的な損失関数は、サンプル中の全ての交差エントロピーの平均を取ることによって計算される。例えば、それぞれのサンプルが<math>n=1,\dots,N</math>によってラベル付けされた<math>N</math>個のサンプルを持っていることを仮定する。損失関数は次に以下の式となる。
: <math>\begin{align}
    J(\mathbf{w})\ &=\ \frac1N\sum_{n=1}^N H(p_n,q_n)\ =\ -\frac1N\sum_{n=1}^N\ \bigg[y_n  \log \hat y_n + (1 - y_n)  \log (1 - \hat y_n)\bigg]\,,
\end{align}</math>
上式において、<math>\hat{y}_n\equiv g(\mathbf{w}\cdot\mathbf{x}_n) = 1/(1+e^{-\mathbf{w}\cdot\mathbf{x}_n}) </math> である。<math>y_n\in\{0,1\}</math> であるため、損失関数を実際に計算する際には2つある項のうち片方のみの計算で済む（他方は0）。

ロジスティック損失は交差エントロピー損失と呼ばれることがある。また、log lossとも呼ばれる（この場合、二値ラベルは {-1,+1} で示されることが多い）<ref>{{cite book |last1=Murphy |first1=Kevin|date=2012 |title=Machine Learning: A Probabilistic Perspective |publisher=MIT |isbn=978-0262018029 |page=}}</ref>。

== 脚注 ==
{{脚注ヘルプ}}
{{Reflist}}

== 関連項目 ==
* [[情報量]]
* [[結合エントロピー]]

{{確率論}}
{{デフォルトソート:こうさえんとろひい}}
[[Category:情報理論]]
[[Category:エントロピー]]
[[Category:数学に関する記事]]