非線形最小二乗法

テンプレート:回帰分析 非線形最小二乗法（ひせんけいさいしょうにじょうほう、テンプレート:Lang-en-short）とは、観測データに対するカーブフィッティング手法の一つであり、最小二乗法を非線形なモデル関数に拡張したものである。非線形最小二乗法は、未知パラメータ（フィッティングパラメータ）を非線形の形で持つ関数モデルを用いて、観測データを記述すること、すなわち、データに最も当てはまりの良いフィッティングパラメータを推定することを目的とする。

最小二乗法の主張

$m$ 個のデータポイント $(x_1,y_1),(x_2,y_2),\dots ,(x_m,y_m)$ からなるセットに対し、$n$ 個のフィッティングパラメータ ${\beta }_1,{\beta }_2,\dots ,{\beta }_n$ を持つモデル関数

$y=f(x,\mathit{\beta })$ (1-1)

をあてはめる場合を考える。ここで、それぞれのデータ $(x_m,y_m)$ において、$x_i$ は説明変数とし、$y_i$ は目的変数とする。$\mathit{\beta }=({\beta }_1,{\beta }_2,\dots ,{\beta }_n)$ は、前記の $n$ 個のフィッティングパラメータ ${\beta }_i$ からなる実数ベクトルとする。

また、以下で定まる残差

$r_i=y_i-f(x_i,\mathit{\beta })(i=1,2,\dots ,m)$ (1-2)

のそれぞれは、それぞれ、期待値 $0$、標準偏差 ${\sigma }_i$ の正規分布に従うとする。また、話を簡単にするため、$x_i$ それぞれは、いずれも誤差を持たないとする。

このとき、考えるべき問題は、もっとも当てはまりのよい $\mathit{\beta }$ を見つけ出すことである。

非線形最小二乗法では、以下の残差平方和（より正確に言えば、標準化された残差平方和）

$S(\mathit{\beta })=\sum _{i=1}^m\frac{r_i^2}{2{\sigma }_i^2}=\sum _{i=1}^m\frac{(y_i-f(x_i,\mathit{\beta }){)}^2}{2{\sigma }_i^2}$ (1-3)

を最小とするような $\mathit{\beta }$ が、もっとも当てはまりの良い $f$ を与えるフィッティングパラメータと考える。

この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば

• $\sum _{i=1}^m|r_i|$を最小にする考え方
• $\sum _{i=1}^m\frac{r_i^2}{2}$を最小とする考え方（単に各データのバラつきが同じと勝手に仮定しただけ）。
• データ、モデル関数共に何らかの変換（例えば対数変換）を加えたうえで、最小二乗法をする考え方。
• カイ二乗値を最小にする考え方。

等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない。

ただし、最小二乗法の考え方は、確率論的に尤もらしさが裏付けられている。このことについては、次節にて論じる。

最小二乗法の尤もらしさ

最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である。ここでは最小二乗法の尤もらしさについて、確率論を援用して検討する。すなわち、残差 ${𝒓}_{𝒊}$ それぞれが、期待値 $0$、標準偏差 ${\mathit{\sigma }}_{𝒊}$ の正規分布に従う確率変数であり、かつ、$r_i$ からなる確率変数の族は、独立試行と考え、確率論を援用する。

仮定より、残差 $r_i$ それぞれは、いずれも、期待値 $0$、標準偏差 ${\sigma }_i$ の正規分布に従うため、あるデータセット $(x_i,y_i)$ において、その測定値が $y_i$ となる確率 $P(y_i)$ は、

$P(y_i)=\frac{1}{{\sigma }_i\sqrt{2\pi }}\exp (-\frac{r_i^2}{2{\sigma }_i^2})$　(2-1)

となる。

今、データの測定は（数学的に言えば残差 ${𝒓}_{𝒊}$ それぞれが）独立試行と考えられるため、$𝒎$ 個のデータポイントのセット $\mathit{(}{𝒙}_1,{𝒚}_1\mathit{)},\mathit{(}{𝒙}_2,{𝒚}_2\mathit{)},\mathit{\dots },\mathit{(}{𝒙}_{𝒎},{𝒚}_{𝒎}\mathit{)}$ が得られる確率 $𝑷\mathit{(}{𝒚}_1,\mathit{\dots },{𝒚}_{𝒎}\mathit{)}$ は、

$\begin{array}{cc}P(y_1,\dots ,y_m)& =\prod _{i=1}^{m}P(y_i)\\ & =\prod _{i=1}^m\frac{1}{{\sigma }_i\sqrt{2\pi }}\exp (-\frac{r_i^2}{2{\sigma }_i^2})\\ & =\frac{1}{\prod _{i=1}^m{\sigma }_i(\sqrt{2\pi }{)}^m}\exp \left(\sum _{i=1}^m(-\frac{(y_i-f(x_i,\mathit{\beta }){)}^2}{2{\sigma }_i^2})\right)\end{array}$　(2-2)

となる。ここで、${\mathrm{\Pi }}_{i=1}^n$は、連乗積を表す。

上式において、正規分布の単峰性より、確率 $P(y_i,\dots ,y_m)$ は、

$S(\mathit{\beta })=\sum _{i=1}^m\frac{(y_i-f(x_i,\mathit{\beta }){)}^2}{2{\sigma }_i^2}$　(2-3)

が最小（最も $0$ に近いとき）において、最大（最尤）となる。すなわち、最尤法の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが妥当だろうということになる。

勾配方程式への帰着

我々が考えるべき問題は、標準化された残差平方和

$S(\mathit{\beta })=\sum _{i=1}^m\frac{r_i^2}{2{\sigma }_i^2}=\sum _{i=1}^m\frac{(y_i-f(x_i,\mathit{\beta }){)}^2}{2{\sigma }_i^2}$　(3-1)

を最小とするようなパラメータ $\mathit{\beta }$ を見つけることである。

このような $\mathit{\beta }$ において、$S$ の勾配 grad $S$ は $0$ になる（必要条件）。したがって、このような $\mathit{\beta }$ は、以下の連立方程式の解となる。

$\frac{\partial S}{\partial {\beta }_j}=\sum _{i=1}^m\frac{r_i}{{\sigma }_i^2}\frac{\partial r_i}{\partial {\beta }_j}=0(j=1,\dots ,n)(1)$　(3-2)

数値解法

線形の最小二乗法では、式(3-2)は未知パラメータ $\mathit{\beta }$ についての連立一次方程式になるため、行列を用いて容易に解くことができるが、非線形最小二乗法では反復解法を用いる必要がある。解法には以下のような方法が知られている。

• 最急降下法
• ニュートン法
• ガウス・ニュートン法
• Marquardt法、修正Marquardt法
• パウエル（Powell）の最小二乗法、パウエルのハイブリッド法