非線形最小二乗法のソースを表示

{{回帰分析}}
'''非線形最小二乗法'''<ref name=kasugaya>{{cite|和書|author=本間 仁|author2=春日屋 伸昌|title=次元解析・最小二乗法と実験式|publisher=コロナ社|year=1989}}</ref><ref name="Strutz">
T. Strutz: ''Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond)''. Vieweg+Teubner, ISBN 978-3-8348-1022-9.<br />
Ch6に、非線形最小二乗法の尤もらしさに関する記述が記載されている。
</ref>（ひせんけいさいしょうにじょうほう、{{lang-en-short|non-linear least squares}}）とは、観測データに対する[[カーブフィッティング]]手法の一つであり、[[最小二乗法]]を非線形なモデル関数に拡張したものである。非線形最小二乗法は、未知パラメータ（フィッティングパラメータ）を非線形の形で持つ関数モデルを用いて、観測データを記述すること、すなわち、データに最も当てはまりの良い<ref name="heyjyu" group="注">実際には、重解が出る場合も多い。</ref>フィッティングパラメータを推定することを目的とする。

==最小二乗法の主張==
<math>m</math> 個のデータポイント <math>(x_1, y_1), (x_2, y_2), \dots, (x_m , y_m)</math> からなるセットに対し、<math>n</math> 個<ref name=kosu group="注">少なくとも <math>m > n</math> でなければナンセンスとなる。</ref>のフィッティングパラメータ <math>\beta_1, \beta_2, \dots, \beta_n</math> を持つモデル関数
:<math>y=f(x, \boldsymbol \beta)</math>  (1-1)
をあてはめる場合を考える。ここで、それぞれのデータ <math>(x_m, y_m)</math> において、<math>x_i</math> は[[説明変数]]とし、<math>y_i</math> は[[目的変数]]とする。<math>\boldsymbol \beta = (\beta_1, \beta_2, \dots, \beta_n)</math> は、前記の <math>n</math> 個のフィッティングパラメータ <math>\beta_i</math> からなる[[数ベクトル空間|実数ベクトル]]とする。

また、以下で定まる[[残差]]
:<math>r_i= y_i - f(x_i, \boldsymbol \beta) \qquad(i=1, 2,\dots, m)</math>  (1-2)

のそれぞれは、それぞれ、期待値 <math>0</math>、標準偏差 <math>\sigma_i</math> の[[正規分布]]に従うとする。また、話を簡単にするため、<math>x_i</math> それぞれは、いずれも誤差を持たないとする。

このとき、考えるべき問題は、もっとも当てはまりのよい <math>\boldsymbol \beta</math> を見つけ出すことである。

非線形最小二乗法では、以下の[[残差平方和]]（より正確に言えば、標準化された残差平方和）
:<math>S(\boldsymbol \beta)
=\sum_{i=1}^{m}
\frac{
r_i^2
}{
2{\sigma}_{i}^{2}
}
=\sum_{i=1}^{m}
\frac{
({y}_{i} - f({x}_{i}, \boldsymbol{\beta}))^{2}
}{
2{\sigma}_{i}^{2}
}
</math>  (1-3)

を最小とするような <math>\boldsymbol \beta</math> が、もっとも当てはまりの良い <math>f</math> を与えるフィッティングパラメータと考える<ref name=kasugaya/><ref name=Strutz/>。

この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば

*<math>\sum_{i=1}^m|{r}_{i}|</math>を最小にする考え方
*<math>\sum_{i=1}^m\frac{r_i^2}{2}</math>を最小とする考え方（単に各データのバラつきが同じと勝手に仮定しただけ）。
*データ、モデル関数共に何らかの変換（例えば対数変換）を加えたうえで、最小二乗法をする考え方。
*[[カイ二乗値]]を最小にする考え方<ref>http://www.hulinks.co.jp/support/kaleida/curvefit.html</ref>。

等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない<ref name="hira" group="注">
無論、例えば一つの特別な状況として、いずれの残差の標準偏差も、全て同じ値''&#x3C3;''である時、すなわち、<math>r_i</math> それぞれが、期待値 <math>0</math>、標準偏差 <math>\sigma</math> の[[正規分布]]に従う場合には、残差平方和 <math>S</math> から、共通項 <math>1/(2{\sigma_i}^2)</math> がくくりだせる。したがって、この場合には、最小二乗法は、

: <math>\sum_{i=1}^m
(y_i - f(x_i, \boldsymbol \beta))^2
</math>
を最小とするような <math>\boldsymbol \beta</math> が、最も当てはまりが良いと考えるのと同等である。</ref>。

ただし、最小二乗法の考え方は、[[確率論]]的に尤もらしさが裏付けられている<ref name=Strutz/>。このことについては、次節にて論じる。

==最小二乗法の尤もらしさ==
最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である<ref name=sals/>。ここでは最小二乗法の尤もらしさについて、[[確率論]]を援用して検討する<ref name=Strutz/>。すなわち、'''残差 <math>\boldsymbol{r_i}</math> それぞれが、期待値 <math>\boldsymbol{0}</math>、標準偏差 <math>\boldsymbol{\sigma_i}</math> の[[正規分布]]に従う[[確率変数]]'''であり、かつ、<math>r_i</math> からなる確率変数の族は、[[独立試行]]と考え、確率論を援用する。

仮定より、[[残差]] <math>r_i</math> それぞれは、いずれも、期待値 <math>0</math>、標準偏差 <math>\sigma_i</math> の[[正規分布]]に従うため、あるデータセット <math>(x_i, y_i)</math> において、その測定値が <math>y_i</math> となる確率 <math>P(y_i)</math> は、
:<math>{P}({y}_{i})=\frac{1}{\sigma_i\sqrt{2\pi}}\exp\left(-\frac{{r}_{i}^{2}}{2\sigma_i^2}\right)</math>　(2-1)
となる。

今、データの測定は（数学的に言えば残差 <math>\boldsymbol{r_i}</math> それぞれが）[[独立試行]]と考えられるため、<math>\boldsymbol{m}</math> 個のデータポイントのセット <math>\boldsymbol{(x_1, y_1), (x_2, y_2), \ldots, (x_m, y_m)}</math> が得られる確率 <math>\boldsymbol{P(y_1, \ldots, y_m)}</math> は、
:<math>\begin{align}
P(y_1,\dots,y_m)
&=\prod_{i=1}^m P(y_i)\\
&=\prod_{i=1}^m \frac{1}{\sigma_i \sqrt{2\pi}}
\exp\left(-\frac{r_i^2}{2\sigma_i ^2}\right)\\
&=\frac{1}{\prod_{i=1}^m\sigma_i(\sqrt{2\pi})^m}\exp\left(\sum_{i=1}^m \left(-\frac{(y_i - f(x_i, \boldsymbol \beta))^2}{2\sigma_i^2}\right)\right)
\end{align}</math>　(2-2)
となる。ここで、<math>{\Pi}_{i=1}^{n}</math>は、[[連乗積]]を表す。

上式において、正規分布の[[単峰性]]より、確率 <math>P(y_i, \ldots, y_m)</math> は、
:<math>S(\boldsymbol \beta)=\sum_{i=1}^m \frac{
(y_i - f(x_i, \boldsymbol \beta))^2
}{
2\sigma_i^2
}</math>　(2-3)
が最小（最も <math>0</math> に近いとき）において、最大（最尤）となる。すなわち、[[最尤法]]の教えるところによれば、このとき、もっとも当てはまりがよいと考えるのが妥当だろうということになる。

==勾配方程式への帰着==
我々が考えるべき問題は、標準化された残差平方和
:<math>S(\boldsymbol \beta)
=\sum_{i=1}^m
\frac{r_i^2}{2\sigma_i^2}
=\sum_{i=1}^m \frac{(y_i - f(x_i, \boldsymbol{\beta}))^2}{2\sigma_i^2}
</math>　(3-1)
を最小とするようなパラメータ <math>\boldsymbol{\beta}</math> を見つけることである。

このような <math>\boldsymbol{\beta}</math> において、<math>S</math> の[[勾配 (ベクトル解析)|勾配]] grad <math>S</math> は <math>0</math> になる（[[必要条件]]）。したがって、このような <math>\boldsymbol{\beta}</math> は、以下の連立方程式の解となる。
:<math>\frac{\partial S}{\partial \beta_j}=\sum_{i=1}^m \frac{r_i}{\sigma_i^2}\frac{\partial r_i}{\partial \beta_j}=0 \quad (j=1,\dots,n)\qquad(1)</math>　(3-2)

== 数値解法 ==
線形の最小二乗法では、式(3-2)は未知パラメータ <math>\boldsymbol{\beta}</math> についての[[連立一次方程式]]になるため、[[行列]]を用いて容易に解くことができるが、非線形最小二乗法では[[反復解法]]を用いる必要がある。解法には以下のような方法が知られている<ref name=sals>{{cite|和書 |author=中川徹|author2=小柳義夫 |title=最小二乗法による実験データ解析 |publisher=東京大学出版会 |year=1982 |isbn=4-13-064067-4 |pages=19, 95-124}}</ref>。
* [[最急降下法]]
* [[ニュートン法]]
* [[ガウス・ニュートン法]]
* Marquardt法、修正Marquardt法
* パウエル（Powell）の最小二乗法、パウエルのハイブリッド法

==脚注・参考文献==
===参考文献===
<references/> 
===脚注===
<references group="注"/>

{{デフォルトソート:ひせんけいさいしようにしようほう}}
[[Category:曲線あてはめ]]
[[Category:統計学]]
[[Category:分析]]
[[Category:最適化]]
[[Category:数学に関する記事]]
[[Category:最小二乗法]]