一般化線形モデルのソースを表示

{{脚注の不足|date=2016年12月12日 (月) 12:50 (UTC)}}

{{Otheruses|一般化線形モデル (generalized linear model)|一般線形モデル (general linear model)|一般線形モデル}}
{{回帰分析}}
'''一般化線形モデル''' (いっぱんかせんけいモデル、{{lang-en-short|Generalized linear model、'''GLM'''}})は、[[残差]]を任意の分布とした[[線型性|線形]]モデル。似たものとして[[一般線形モデル]]があるが、これは残差が[[多変量正規分布]]に従うモデル。一般化線形モデルには[[線形回帰]]、[[ポアソン回帰]]、[[ロジスティック回帰]]などが含まれる。[[1972年]]に[[:en:John Nelder|ネルダー]]と[[:en:Robert Wedderburn (statistician)|ウェダーバーン]]によって提唱された<ref>{{cite journal | last= Nelder | first = John |authorlink = John Nelder | first2 = Robert |last2 = Wedderburn |authorlink2 = Robert Wedderburn (statistician) | title = Generalized Linear Models | year=1972 | journal = [[Journal of the Royal Statistical Society]]. Series A (General) | volume= 135 |issue=3 | pages=370–384 | doi= 10.2307/2344614 | publisher= Blackwell Publishing | jstor= 2344614 }}</ref>。

==概要==
[[確率変数]] <math>Y</math> が[[指数型分布族]]である、つまり[[確率密度関数]] <math>f(y)</math> は正準 (canonical) [[パラメーター]] <math>\theta</math>, 分散 (dispersion) パラメーター <math>\phi</math> とスカラー関数 <math>a(\theta)</math>, <math>c(y,\,\theta)</math> を用いて指数型
{{Indent|<math>f(y;\theta, \phi)=\exp \left\{ \frac{y\,\theta-a(\theta)}{\phi}+c(y,\phi) \right\} </math>}}
で表すことができるものとする。

一般化線形モデルでは、指数型分布族の[[正準パラメーター]] <math>\theta</math> について滑らかであるリンク関数 (link function) と呼ばれる関数 <math>g(\theta)</math> が、別の確率変数 <math>\mathbf{X}</math> の実現値 <math>\mathbf{x}</math> を用いて、<math>g(\theta) = \mathbf{x}^T\,\boldsymbol{\beta}</math> と表せるものとする。

一般化線型モデルは下記の3つの要素から構成される。
: 1. [[指数型分布族]]の確率分布
: 2. 線形予測子 (linear predictor) <math>\eta = \mathbf{x}^{T} \boldsymbol{\beta}</math>
: 3. リンク関数 (link function) <math>g</math> such that <math>g(\theta) = \eta</math>

==指数分布族の性質==
下記のように尤度関数を定める。
{{Indent|<math>L \equiv \log{f(y;\theta, \phi)} = \frac{y\,\theta-a(\theta)}{\phi}+c(y,\phi) </math>}}

このとき、下記等式が成立する。
{{Indent|<math>E\left( \frac{\partial L}{\partial \theta} \right) = 0,\; E\left( \frac{\partial^2 L}{\partial \theta^2} \right) = - E\left( \frac{\partial L}{\partial \theta} \right)^2 </math>}}

この等式を用いて計算すると、[[確率変数]] <math>Y</math> の[[平均]]は <math>a'(\theta)</math>、[[分散 (確率論)|分散]]は <math>\phi\, a''(\theta)</math> であることが分かる。

下記の他、多くの確率分布が指数分布族に分類される。
* 正規分布
* ベルヌーイ分布
* ポアソン分布
* 二項分布
* ガウス分布

==実例==
===正規分布に従うモデル===
既知の値 <math>\sigma^2</math> を用いて <math>a(\theta)=\theta^2/2</math>, <math>\phi = \sigma^2</math>, <math>c(y,\,\phi) = -\left( y^2/\sigma^2 + \log{2\pi\sigma^2} \right)/2</math> と表されるとき、<math>f(y;\theta) = \frac{1}{\sqrt{2\pi} \sigma} \exp{\left(- \frac{(y-\theta)^2}{2\sigma^2} \right)}</math> は平均 <math>\theta</math>, 分散 <math>\sigma^2</math> の[[正規分布]]に相当する。

リンク関数として <math>g(\theta) = \theta</math> (正準リンク<canonical link>とよぶ) を取るとき、これは、[[正規線型モデル]] (通常の線型回帰) に相当する。平均 <math>\theta</math> は <math>\mathbf{x}^T\,\boldsymbol{\beta}</math> で与えられる。

===ベルヌーイ分布に従うモデル===
<math>p = e^\theta / (1+e^\theta)</math> を用いて <math>a(\theta) = - \log{(1-p)}</math>, <math>\phi = 1</math>, <math>c = 0</math> と表されるとき、<math>f(y;\theta) = p^y (1-p)^{1-y}</math> は生起確率 <math>p</math> の[[ベルヌーイ分布]]に相当する。

リンク関数として <math>g(\theta) = \theta</math> を取るとき、これは[[ロジスティック回帰モデル]] (logistic regression model) に相当する。<math>Y = 1, 0</math> の確率は、それぞれ、
{{Indent|<math>P(Y=1 \mid \mathbf{x})=\frac{\exp{(\mathbf{x}^T\,\boldsymbol{\beta})}}{1+\exp{(\mathbf{x}^T\,\boldsymbol{\beta})}} </math>}}
{{Indent|<math>P(Y=0 \mid \mathbf{x})=\frac{1}{1+\exp{(\mathbf{x}^T\,\boldsymbol{\beta})}}</math>}}
で与えられる。

リンク関数として <math>g(\theta) = \psi^{-1}(p)</math> (ただし、<math>\psi</math> は標準[[正規分布]]の累積分布関数) を取るとき、これは[[プロビット回帰モデル]]に相当する。<math>p = \psi(\mathbf{x}^T\,\boldsymbol{\beta})</math>となる。

パラメーターの決定には、[[ニュートン法]]を用いた[[最尤法]]などがある。

== 脚注 ==
{{reflist}}

== 参考文献 ==
* {{cite book  | last = McCullagh | first = Peter | authorlink= Peter McCullagh | coauthors = [[John Nelder|Nelder, John]] | title = Generalized Linear Models, Second Edition | publisher = Boca Raton: Chapman and Hall/CRC | year = 1989 | isbn = 0-412-31760-5 |ref=McCullagh1989}}
* {{cite book | author=Henrik Madsen and Poul Thyregod|title= Introduction to General and Generalized Linear Models | year=2011 | publisher=Chapman & Hall/CRC | isbn=978-1-4200-9155-7| ref=harv}}
*[https://u-lab.my-pharm.ac.jp/~tominaga/julia/index.html Julia でデータサイエンス] 一般化線形モデルにおける各種診断プロットの描画法の [[Julia (プログラミング言語)|Julia]] コード

== 関連項目 ==
* [[一般線形モデル]]
* [[混合モデル]]
* [[一般化線形混合モデル]]

{{統計学}}
{{Statistics-stub}}

{{Normdaten}}
{{DEFAULTSORT:いつはんかせんけいもてる}}
[[Category:回帰分析]]
[[Category:統計モデル]]
[[Category:数学に関する記事]]