尤度関数のソースを表示

{{出典の明記|date=2014年9月15日 (月) 07:48 (UTC)}}
'''尤度関数'''（ゆうどかんすう、{{lang-en-short|likelihood function}}）とは[[統計学]]において、ある前提条件に従って結果が出現する場合に、逆に観察結果からみて前提条件が「何々であった」と推測する'''尤もらしさ'''（もっともらしさ）を表す数値を、「何々」を[[変数 (数学)|変数]]とする[[関数 (数学)|関数]]として捉えたものである。また単に'''尤度'''ともいう。

その相対値に意味があり、[[最尤法]]、[[尤度比検定]]などで用いられる。

== 概要 ==
''B = b'' であることが確定している場合に、 ''A'' が起きる[[確率]]（[[条件付き確率]]）を
:<math>P(A \mid B=b)</math>
とする。このとき、逆に ''A'' が観察で確認されていることを基にして、上記の条件付き確率を変数 ''b'' の関数として'''尤度関数'''という。また一般には、それに比例する関数からなる[[同値類]]
:<math>L(b \mid A) = \alpha P(A \mid B=b)</math>
をも尤度関数という（ここで<math>\alpha</math>は任意の正の比例定数）。

重要なのは数値<math>L(b | A)</math>自体ではなく、むしろ比例定数を含まない尤度比<math>L(b_2 \mid A) / L(b_1 \mid A)</math>である。もし<math>L(b_2 \mid A) / L(b_1 \mid A) > 1</math>ならば、<math>b_1</math>と考えるよりも<math>b_2</math>と考えるほうが尤もらしい、ということになる。
<math>B</math>が与えられた場合には、それから<math>A</math>について推論するのには条件付き確率<math>P(A \mid B)</math>を用いる。
逆に、<math>A</math>が与えられた場合に、それから<math>B</math>について推論するのには条件付き確率<math>P(B \mid A)</math>（[[事後確率]]）を用いるが、これは尤度関数である<math>P(A \mid B)</math>あるいは<math>P(A \mid B) / P(A)</math>から、次の[[ベイズの定理]]によって求められる：

:<math>P(B \mid A) = \frac{P(A \mid B) ~ P(B)}{P(A)}</math>

ただし、尤度関数は後に示すように[[確率密度関数]]とは別の概念である。
==簡単な例 ==
コインを投げるときに、表が出る（'H'）確率が ''p<sub>H</sub>'' であれば、2回の試行で2回とも表が出る（'HH'）確率は ''p<sub>H</sub><sup>2</sup>'' である。 ''p<sub>H</sub>'' = 0.5 であれば、2回とも表が出る確率は0.25である。このことを次のように示す：

:<math>P(\mbox{HH} \mid p_H = 0.5) = 0.25</math>

これのもう1つの言い方として、「観察結果が'HH'ならば ''p<sub>H</sub>'' = 0.5 の尤度は 0.25である」、つまり

:<math>L(p_H=0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H=0.5) =0.25</math>.

と言える。一般には

:<math> L(p_H=x \mid \mbox{HH}) = P(\mbox{HH}\mid p_H=x) = x^2</math>

と書ける。
しかしこれを、「観察値が0.25ならば、1回投げて表の出る'''確率'''は ''p<sub>H</sub>'' = 0.5」という意味にとってはならない。
極端な場合を例にとると、「観察結果が'HH'ならば ''p<sub>H</sub>'' = 1 の尤度は1」とはいえる。しかし明らかに、観察値が1だからといって表の出る確率 ''p<sub>H</sub>'' = 1 ということはない。'HH'という事象は ''p<sub>H</sub>'' の値が0より大きく1以下のいくつであっても起こりうるのだ。
<math>L(p_H=x \mid \mbox{HH})</math>の値はxが1に近づくほど大きくなる（しかし現実には''p<sub>H</sub>'' はおよそ0.5である場合が多い）。'''観察はたった2回の試行に基づくもので、それからとりあえず「''p<sub>H</sub>'' = 1 が尤もらしい」といっているにすぎない'''。
また尤度関数は[[確率密度関数]]ではなく、[[積分]]しても一般に1にはならない。上の例では ''p<sub>H</sub>'' に関する[0, 1]区間の尤度関数の積分は1/3で、これからも尤度密度関数を ''p<sub>H</sub>'' に対する確率密度関数としては解釈できないことがわかる。

== 母数を含むモデルの尤度関数 ==
統計学では標本の観察結果から母集団の分布を表現する母数（パラメータ）を求めることが重要であるが、母集団の母数がある特定の値であることを前提条件として観察結果が得られると考え、統計学の問題に尤度の概念を適用できる。尤度関数は特に[[最尤法]]、[[尤度比検定]]で重要な意味を持ち、尤度を最大にするという原理により多くの統計学的推定法が導かれる。
次のような母数を含む[[確率密度関数]]族を考える：

:<math>f(x\mid\theta)</math>

ここで ''x'' が確率変数、 &theta; が母数である。尤度関数は

:<math>L(\theta \mid x)=f(x\mid\theta)</math>

ここで ''x'' は実験の観察値である。&theta; を定数として、 ''f''(''x'' | &theta;) を ''x'' の関数として見たときには、これは確率密度関数であり、逆に ''x'' を定数として &theta; の関数として見たときには、尤度関数である。
この場合も尤度を、観察標本が与えられたときに「この母数が正しい」という確率と混同してはいけない。観察結果はあくまでも少数の標本にすぎず、仮説の尤度を仮説の確率として解釈するのは危険である。

== 負の対数尤度 ==
'''負の対数尤度'''（{{lang-en-short|negative log-likelihood}}, '''NLL'''）は尤度関数の対数に <math>-1</math> を掛けたものである。すなわち次の式で表される関数である：
: <math>\mathrm{NLL}(\theta) 
= -\log{L(\theta \mid x)}
= -\log{p(x \mid \theta)}</math>

密度関数の[[値域]]が <math>0 \leqq p(x) \leqq 1</math> であるため、NLLの値域は <math>+\infty \geqq p(x) \geqq 0</math> となる。尤度関数が「<math>\theta</math> の尤もらしさ」を直観的に表現するのに対し、NLLは「<math>\theta</math> のありえなさ」を直観的に表現する。

対数は単調増加し <math>-1</math> は大小を逆転させるため、尤度関数が最大値を取る <math>\theta</math> とNLLが最小値を取る <math>\theta</math> は一致する。ゆえに[[最尤推定]]、ひいては最尤推定に基づく[[機械学習]]の損失関数としてNLLはしばしば用いられる（<math>\operatorname{argmax}_{\theta} L(\theta)</math> を <math>\operatorname{argmin}_{\theta} \mathrm{NLL}(\theta)</math> で代用する）。

NLLの実現値 <math>\mathrm{NLL}(\theta = \theta_i)</math> は標本 <math>x</math> の[[情報量#選択情報量|自己情報量]]と等価である（式が同一）。直観的には、この実現値が表現する「<math>\theta_i</math> 下で <math>x</math> が得られることのありえなさ」がまさに「驚き具合（サプライザル）」であることからわかる。

=== 独立同分布 ===
<math>n</math> 個の観測値 <math>\boldsymbol{d} = \{d_i \mid i \in \{1, .., n\} \}</math> が[[独立同分布]]から得られた場合、NLLは次の式で表現できる
{{efn2|引用部分：Under the i.i.d. assumption, the probability of the datapoints given the parameters factorizes as a product of individual datapoint probabilities. The log-probability assigned to the data by the model is therefore given by: <math>\log p_\theta (D) = \sum_{x \in D} \log p_\theta(x)</math> {{sfn|Kingma|Welling|2019|p=10|loc=1.6.1 Dataset}} }}：

: <math>\mathrm{NLL}(\theta \mid \boldsymbol{d}) 
= -\log(
\prod_{i=1}^n p(d_i \mid \theta)
)
= -\sum_{i=1}^n \log{p(d_i \mid \theta)}
</math>

すなわち[[無作為抽出]]されたデータ群に対するNLLは「各データNLLの和」として表現できる。和で表現できるため、<math>\mathrm{NLL}(\theta \mid \boldsymbol{d})</math> を<math>n</math> で割ることで（標本数に依存しない）「<math>\mathrm{NLL}(\theta \mid d_i)</math> の[[平均#母平均と標本平均|標本平均]]」に相当する値を自然に導出できる{{efn2|引用部分：the sum, or equivalently the average, of the log-probabilities assigned to the data by the model.{{sfn|Kingma|Welling|2019|p=10|loc=1.6.2 Maximum Likelihood and Minibatch SGD}} }}。

== 歴史 ==
尤度に関する初期の考察は[[デンマーク]]の[[数学者]][[トルバルド・ティエレ]]（Thorvald N. Thiele）による[[1889年]]の著書にみられる。

尤度についての完全な考察が現れた最初の論文は、[[ロナルド・フィッシャー]]による[[1922年]]の『''On the mathematical foundations of theoretical statistics''』である。ここでフィッシャーはまた「最尤法」（method of maximum likelihood）の語を初めて用いている。フィッシャーは[[統計学的推計]]の基礎として事後確率を用いることに反対し、代わりに尤度関数に基づく推計を提案している。

== 脚注 ==
{{脚注ヘルプ}}
=== 注釈 ===
{{Notelist2}}
=== 出典 ===
{{Reflist}}

== 参考文献 ==
* {{Cite journal |last1=Kingma |first1=Diederik P. |last2=Welling |first2=Max |author2-link=:en:Max Welling |title=An Introduction to Variational Autoencoders |date=2019-06-06 |publisher=Now Publishers |journal=Foundations and Trends in Machine Learning |volume=12 |issue=4 |doi=10.48550/arXiv.1906.02691 |arxiv=1906.02691 |isbn=978-1-6808-3622-6 |page=307-392|language=en |ref=harv}}

== 関連項目 ==
* [[推計統計学]]
* [[確率分布]]
* [[ベイズの定理]]
* [[ベイズ推計]]
* [[尤度比検定]]
* [[最尤法]]
* [[最大エントロピー原理]]
* [[陽性尤度比]]
* [[陰性尤度比]]
* [[尤度方程式]]

{{統計学}}
{{デフォルトソート:ゆうとかんすう}}
[[Category:推計統計学]]
[[Category:ベイズ統計]]
[[Category:数学に関する記事]]