尤度方程式

尤度方程式（ゆうどほうていしき、テンプレート:Lang-en-short）とは、統計学において、対数尤度関数の極値条件を与える方程式の事テンプレート:Sfnテンプレート:Sfn。統計的推定法の一つである最尤法において、尤度関数を最大化する最尤推定値を求める際に用いられる。

概要

独立同分布を満たす $n$ 個の確率変数 $𝑫=\{D_i\mid i\in \{1,..,n\}\}$ とその観測値 $𝒅=\{d_i\mid i\in \{1,..,n\}\}$ を定義する。すなわち真の分布から $n$ 個の観測値（データ）が無作為抽出された状況を考える。

ここで確率密度関数 $f(X|\mathit{\theta })$ に従う確率モデルを導入する。ここで $\mathit{\theta }=({\theta }_1,..,{\theta }_p)$ は分布パラメータ群であり、パラメータ空間テンプレート:Mathに値を持つ。この確率モデルが $𝒅$ を最も良く説明する $\mathit{\theta }$ を求めたい。ゆえに最尤推定をおこなう。

このとき独立同分布条件により、尤度関数 $L(\mathit{\theta }|𝒅)$ と対数尤度関数 $l(\mathit{\theta }|𝒅)$ は以下で定義される。

$L(\mathit{\theta }|𝒅)=\prod _{i=1}^{n}f(X=d_i|\mathit{\theta })$

$l(\mathit{\theta }|𝒅)=\ln L(\mathit{\theta }|𝒅)=\sum _{i=1}^n\ln f(X=d_i|\mathit{\theta })$

すなわちあるデータ群に対するモデルの尤度関数は、各観測値に対する尤度関数の積（対数尤度の場合は和）となる。

最尤法では対数尤度関数を最大化する $\mathit{\theta }$ が最尤推定値 $\hat{\mathit{\theta }}$ として定まる。このとき $\hat{\mathit{\theta }}$ は次の極値条件を満たす。

$\frac{\partial }{\partial \mathit{\theta }}l(\mathit{\theta }|𝒅)=\mathrm{𝟎}$

この方程式を尤度方程式という。左辺の勾配ベクトル：

$𝐒(𝒅,\mathit{\theta }):=\frac{\partial }{\partial \mathit{\theta }}l(\mathit{\theta }|𝒅)$

は、スコア関数、もしくは単にスコアと呼ばれる。多くの場合、最尤推定値の推定は、尤度方程式を解く問題、すなわち、スコアをゼロとするパラメータテンプレート:Mathを求める問題に帰着する。

例

正規分布

テンプレート:Mathが平均をテンプレート:Mvar、分散をテンプレート:Mvarとする正規分布に従うとする（テンプレート:Math）。このとき、対数尤度関数は

$l(\mu ,{\sigma }^2,𝐱)=-\frac{n}{2}\ln 2\pi -\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$

であり、尤度方程式は

$\frac{\partial l(\mu ,{\sigma }^2,𝐱)}{\partial \mu }=\frac{1}{{\sigma }^2}\sum _{i=1}^n(x_i-\mu )=0$

$\frac{\partial l(\mu ,{\sigma }^2,𝐱)}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2({\sigma }^2{)}^2}\sum _{i=1}^n(x_i-\mu {)}^2=0$

となる。これらを整理すると最尤推定値として

$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$

$\widehat{{\sigma }^2}=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$

を得る。

ワイブル分布

テンプレート:Mathが形状パラメータをテンプレート:Mvar、尺度パラメータをテンプレート:Mvarとするワイブル分布に従うとする。このとき、対数尤度関数は

$l(\eta ,\beta ,𝐱)=n\ln \beta -n\beta \ln \eta +(\beta -1)\sum _{i=1}^n\ln x_i-\frac{1}{{\eta }^{\beta }}\sum _{i=1}^n{x}_i^{\beta }$

であり、尤度方程式は

$\frac{\partial l(\eta ,\beta ,𝐱)}{\partial \eta }=-\frac{n\beta }{\eta }-\frac{\beta }{{\eta }^{(\beta +1)}}\sum _{i=1}^n{x}_i^{\beta }=0$

$\frac{\partial l(\eta ,\beta ,𝐱)}{\partial \beta }=\frac{n}{\beta }-n\ln \eta +\sum _{i=1}^n\ln x_i+\frac{\ln \eta }{{\eta }^{\beta }}\sum _{i=1}^n{x}_i^{\beta }+\frac{1}{{\eta }^{\beta }}\sum _{i=1}^n\ln x_i{x}_i^{\beta }=0$

となる。 これらを整理すると最尤推定値テンプレート:Math、テンプレート:Mathが満たすべき関係式

$\hat{\eta }={\left(\frac{1}{n}\sum _{i=1}^n{x}_i^{\hat{\beta }}\right)}^{\frac{1}{\hat{\beta }}}$

$\frac{1}{\hat{\beta }}+\frac{1}{n}\sum _{i=1}^n\ln x_i-\frac{\sum _{i=1}^n{x}_i^{\hat{\beta }}\ln x_i}{\sum _{i=1}^n{x}_i^{\hat{\beta }}}=0$

を得る。第二式を満たすテンプレート:Mathを数値的に求めれば、第一式よりテンプレート:Mathも定まる。

ガンマ分布

テンプレート:Mathが形状パラメータをテンプレート:Mvar、尺度パラメータをテンプレート:Mvarとするガンマ分布に従うとする（テンプレート:Math）。このとき、対数尤度関数は

$l(\alpha ,\beta ,𝐱)=-n\ln \mathrm{\Gamma }(\alpha )-n\alpha \ln \beta +(\alpha -1)\sum _{i=1}^n\ln x_i-\frac{1}{\beta }\sum _{i=1}^n{x}_i$

であり、尤度方程式は

$\frac{\partial l(\alpha ,\beta ,𝐱)}{\partial \alpha }=-n\psi (\alpha )-n\ln \beta +(\alpha -1)\sum _{i=1}^n\ln x_i=0$

$\frac{\partial l(\alpha ,\beta ,𝐱)}{\partial \beta }=-\frac{n\alpha }{\beta }+\frac{1}{{\beta }^2}\sum _{i=1}^n{x}_i=0$

となる。 ここではテンプレート:Mathはガンマ関数の対数微分であるディガンマ関数を表す。これらを整理すると最尤推定値テンプレート:Math、テンプレート:Mathが満たすべき関係式

$\hat{\beta }=\frac{1}{\hat{\alpha }}\frac{1}{n}\sum _{i=1}^n{x}_i$

$\hat{\alpha }=\frac{\frac{1}{n}\sum _{i=1}^n{x}_i}{{\left(\prod _{i=1}^n{x}_i\right)}^{\frac{1}{n}}}\exp (\psi (\hat{\alpha }))$

を得る。第二式を満たすテンプレート:Mathを数値的に求めれば、第一式よりテンプレート:Mathも定まる。

数値解法

尤度方程式が解析的に解けない場合、テンプレート:Mathを満たすテンプレート:Mathを数値的に求めることが必要となるテンプレート:Sfn。

ニュートン＝ラフソン法

ニュートン＝ラフソン法では、反復計算により、最適解テンプレート:Mathを求める。反復計算のkステップ目で求まったパラメータをテンプレート:Mathとする。スコア関数はテイラー展開により、

$𝐒(𝐱,\mathit{\theta })\simeq 𝐒(𝐱,{\mathit{\theta }}^{(k)})-I({\mathit{\theta }}^{(k)})(\mathit{\theta }-{\mathit{\theta }}^{(k)})$

と一次近似できる。ここでテンプレート:Mathは、

$I(\mathit{\theta })=-\frac{{\partial }^2}{\partial \mathit{\theta }\partial {\mathit{\theta }}^T}\ln L(\mathit{\theta },𝐱)$

で与えられる、対数尤度関数のヘッセ行列の符号を変えた行列である。ニュートン＝ラフソン法では、左辺をゼロとおくことで、テンプレート:Mathを与える更新式

${\mathit{\theta }}^{(k+1)}={\mathit{\theta }}^{(k)}+I({\mathit{\theta }}^{(k)}{)}^{-1}𝐒(𝐱,{\mathit{\theta }}^{(k)})$

を定める。

ニュートン＝ラフソン法は、最適解テンプレート:Mathの近傍で二次収束するため、収束が早い。すなわち、テンプレート:Mathの十分近くの適切な初期値を与えれば、

$||{\mathit{\theta }}^{(k)}-{\mathit{\theta }}^{\ast }||\le K||{\mathit{\theta }}^{(k)}-{\mathit{\theta }}^{\ast }|{|}^2$

を満たす正の定数テンプレート:Mvarが存在する。

一方で、ニュートン＝ラフソン法は各ステップで、対数尤度関数のヘッセ行列から定まるテンプレート:Mathの逆行列を計算する、もしくは、テンプレート:Mvar次の連立方程式を解くことが必要となる。これらの計算量はテンプレート:Mathのオーダーであり、パラメータ数テンプレート:Mvarが増えると、計算負荷が急激に増える。また、初期値の設定によっては、テンプレート:Mathは正定値とはならず、最適解テンプレート:Mathに収束しない場合がある。

フィッシャーのスコア法

ニュートン＝ラフソン法においては、各ステップで負の対数尤度関数の二階微分であるテンプレート:Mathを計算する必要がある。このテンプレート:Mathを求める計算は、場合によっては煩雑となる。分布によっては、テンプレート:Mathの期待値であるフィッシャー情報行列

$J(\mathit{\theta })=E_{\mathit{\theta }}[-\frac{{\partial }^2}{\partial \mathit{\theta }\partial {\mathit{\theta }}^T}\ln L(\mathit{\theta },𝐱)]=E_{\mathit{\theta }}[\frac{\partial }{\partial \mathit{\theta }}\ln L(\mathit{\theta },𝐱)\frac{\partial }{\partial {\mathit{\theta }}^T}\ln L(\mathit{\theta },𝐱)]$

が、より簡潔に求まるため、テンプレート:Mathをテンプレート:Mathで代用し、反復計算を

${\mathit{\theta }}^{(k+1)}={\mathit{\theta }}^{(k)}+J({\mathit{\theta }}^{(k)}{)}^{-1}𝐒(𝐱,{\mathit{\theta }}^{(k)})$

とする。この方法をフィッシャーのスコア法と呼ぶ。

フィッシャー情報行列は非負定値であるため、ニュートン＝ラフソン法でのテンプレート:Mathの正定値性の問題を回避することができる。

参考文献

• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite book

関連項目

• 最尤法