一般化線形モデル

テンプレート:Otheruses テンプレート:回帰分析 一般化線形モデル (いっぱんかせんけいモデル、テンプレート:Lang-en-short)は、残差を任意の分布とした線形モデル。似たものとして一般線形モデルがあるが、これは残差が多変量正規分布に従うモデル。一般化線形モデルには線形回帰、ポアソン回帰、ロジスティック回帰などが含まれる。1972年にネルダーとウェダーバーンによって提唱された。

概要

確率変数 $Y$ が指数型分布族である、つまり確率密度関数 $f(y)$ は正準 (canonical) パラメーター $\theta$, 分散 (dispersion) パラメーター $\varphi$ とスカラー関数 $a(\theta )$, $c(y,\theta )$ を用いて指数型 テンプレート:Indent で表すことができるものとする。

一般化線形モデルでは、指数型分布族の正準パラメーター $\theta$ について滑らかであるリンク関数 (link function) と呼ばれる関数 $g(\theta )$ が、別の確率変数 $𝐗$ の実現値 $𝐱$ を用いて、$g(\theta )={𝐱}^T\mathit{\beta }$ と表せるものとする。

一般化線型モデルは下記の3つの要素から構成される。

1. 指数型分布族の確率分布

2. 線形予測子 (linear predictor) $\eta ={𝐱}^T\mathit{\beta }$

3. リンク関数 (link function) $g$ such that $g(\theta )=\eta$

指数分布族の性質

下記のように尤度関数を定める。 テンプレート:Indent

このとき、下記等式が成立する。 テンプレート:Indent

この等式を用いて計算すると、確率変数 $Y$ の平均は $a^{\prime }(\theta )$、分散は $\varphi a^{″}(\theta )$ であることが分かる。

下記の他、多くの確率分布が指数分布族に分類される。

• 正規分布
• ベルヌーイ分布
• ポアソン分布
• 二項分布
• ガウス分布

実例

正規分布に従うモデル

既知の値 ${\sigma }^2$ を用いて $a(\theta )={\theta }^2/2$, $\varphi ={\sigma }^2$, $c(y,\varphi )=-(y^2/{\sigma }^2+\log 2\pi {\sigma }^2)/2$ と表されるとき、$f(y;\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y-\theta {)}^2}{2{\sigma }^2})$ は平均 $\theta$, 分散 ${\sigma }^2$ の正規分布に相当する。

リンク関数として $g(\theta )=\theta$ (正準リンク<canonical link>とよぶ) を取るとき、これは、正規線型モデル (通常の線型回帰) に相当する。平均 $\theta$ は ${𝐱}^T\mathit{\beta }$ で与えられる。

ベルヌーイ分布に従うモデル

$p=e^{\theta }/(1+e^{\theta })$ を用いて $a(\theta )=-\log (1-p)$, $\varphi =1$, $c=0$ と表されるとき、$f(y;\theta )=p^y(1-p{)}^{1-y}$ は生起確率 $p$ のベルヌーイ分布に相当する。

リンク関数として $g(\theta )=\theta$ を取るとき、これはロジスティック回帰モデル (logistic regression model) に相当する。$Y=1,0$ の確率は、それぞれ、 テンプレート:Indent テンプレート:Indent で与えられる。

リンク関数として $g(\theta )={\psi }^{-1}(p)$ (ただし、$\psi$ は標準正規分布の累積分布関数) を取るとき、これはプロビット回帰モデルに相当する。$p=\psi ({𝐱}^T\mathit{\beta })$となる。

パラメーターの決定には、ニュートン法を用いた最尤法などがある。

参考文献

• テンプレート:Cite book
• テンプレート:Cite book
• Julia でデータサイエンス 一般化線形モデルにおける各種診断プロットの描画法の Julia コード

関連項目

• 一般線形モデル
• 混合モデル
• 一般化線形混合モデル