レーベンバーグ・マルカート法のソースを表示

{{翻訳直後|[[:en:Special:Permalink/1088958716|en: Levenberg–Marquardt algorithm]]|date=2022年9月}}

'''レーベンバーグ・マルカート法'''（レーベンバーグ・マルカートほう、{{Lang-en-short|Levenberg–Marquardt algorithm}}、'''LM法'''、レーベンバーグ・マーカート法）とは、[[数学]]および[[計算科学]]における[[非線形最小二乗法|非線形最小二乗]]問題の解法の一つをいう。特に[[曲線あてはめ|曲線回帰]]を[[最小二乗法]]により行う場合によく用いられる。LM法は[[ガウス・ニュートン法]]（GN法）と[[最急降下法]]を内挿した手法といえる。GN法よりも[[ロバストネス (コンピュータ)|ロバスト]]であり、初期値が解から大きく外れていた場合でも解けることが多いが、ふるまいの良い関数に対してはGN法よりも収束が遅い傾向を示す。LM法は GN法に[[信頼領域法]]を適用したものとみることもできる。

[[1944年]]、{{Ill2|フランクフォード・アーセナル|en|Frankford Arsenal}}職員{{Ill2|ケネス・レーヴェンバーグ|en|Kenneth Levenberg}}により初発表され<ref>{{Cite journal|last=Levenberg|first=Kenneth|date=1944|title=A method for the solution of certain non-linear problems in least squares|url=https://www.ams.org/qam/1944-02-02/S0033-569X-1944-10666-0/|journal=Quarterly of Applied Mathematics|volume=2|issue=2|pages=164–168|language=en|doi=10.1090/qam/10666|issn=0033-569X}}</ref>、[[1963年]]に[[デュポン]]勤務の[[統計家]]、{{仮リンク|ドナルド・マーカート|en|Donald Marquardt}}により再発見された<ref name="Marquardt2">{{cite journal|last=Marquardt|first=Donald|author-link=ドナルド・マーカート|year=1963|title=An Algorithm for Least-Squares Estimation of Nonlinear Parameters|journal=SIAM Journal on Applied Mathematics|volume=11|issue=2|pages=431–441|doi=10.1137/0111030|hdl=10338.dmlcz/104299|hdl-access=free}}</ref>。また、Girard<ref name="Girard2">{{cite journal|last=Girard|first=André|year=1958|title=Excerpt from ''Revue d'optique théorique et instrumentale''|journal=Rev. Opt.|volume=37|pages=225–241, 397–424}}</ref>, Wynne<ref name="Wynne3">{{cite journal|last=Wynne|first=C. G.|year=1959|title=Lens Designing by Electronic Digital Computer: I|journal=Proc. Phys. Soc. Lond.|volume=73|issue=5|pages=777–787|bibcode=1959PPS....73..777W|doi=10.1088/0370-1328/73/5/310}}</ref>, Morrison<ref name="Morrison2">{{cite journal|last=Morrison|first=David D.|year=1960|title=Methods for nonlinear least squares problems and convergence proofs|journal=Proceedings of the Jet Propulsion Laboratory Seminar on Tracking Programs and Orbit Determination|pages=1–9}}</ref> によりそれぞれ独立に再発見されている。

LM法は、一般的な曲線回帰問題を解く必要のある[[アプリケーションソフトウェア]]で広く用いられる。GN法を取り入れているため多くの場合で1次解法よりも収束速度が速いが<ref>{{Cite journal|last=Wiliamowski|first=Bogdan|last2=Yu|first2=Hao|date=June 2010|title=Improved Computation for Levenberg–Marquardt Training|url=https://www.eng.auburn.edu/~wilambm/pap/2010/Improved%20Computation%20for%20LM%20Training.pdf|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=21|issue=6}}</ref>、他の[[反復法 (数値計算)|反復法]]と同様、LM法で保証されているのは[[極値|局所最小値]]への収束のみであり、[[極値|大域最小値]]が得られる保証はない。

== 問題設定 ==
LM法の主な適用対象は、最小二乗曲線回帰問題である。 {{Mvar|m}}対の[[独立変数]]と[[従属変数]]のペア<math>\left (x_i, y_i\right )</math>が与えられたとき、{{Mvar|'''&beta;'''}}をパラメータとする曲線{{Math|''f''(''x'', '''''&beta;''''')}}と所与のペアとの[[偏差]]の二乗和{{Math|''S''('''''&beta;''''')}}を最小化することを考える。

: <math>\hat{\boldsymbol\beta} \in \operatorname{argmin}\limits_{\boldsymbol\beta} S\left (\boldsymbol\beta\right ) \equiv \operatorname{argmin}\limits_{\boldsymbol\beta} \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right )\right ]^2</math>

== 解法 ==
他の数値最適化手法と同様、LM法は反復法を用いる。まず、パラメーターベクトル{{Mvar|'''&beta;'''}}の初期推定値を与える必要がある 。[[極値|極小点]]が1つしかない場合、事前情報に基づかない均一な初期推定値、たとえば {{Math|1='''''&beta;'''''{{sup|T}} = (1, 1, &hellip;, 1)}}でも大域解に到達することができるが、複数の局所最小値が存在する場合、初期推定値が十分に大域最小点に近いときにしか大域解には収束しない。

各反復ステップにおいてパラメーターベクトル{{Mvar|'''&beta;'''}}は新しい推定値{{Math|'''''&beta;''''' + '''''&delta;'''''}}へ置き換えられる。{{Mvar|'''&delta;'''}}を決めるため、{{Math|''f''(''x{{sub|i}}'', '''''&beta;''''' + '''''&delta;''''')}}を次のように[[線型近似|線形近似]]する。

: <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right ) \approx f\left (x _i, \boldsymbol\beta\right ) + \boldsymbol J_i \boldsymbol\delta</math>

ここで、

: <math>\boldsymbol J_i = \frac{\partial f\left (x_i, \boldsymbol\beta\right )}{\partial \boldsymbol\beta}</math>

は関数{{Mvar|f}}の{{Mvar|'''&beta;'''}}についての[[勾配 (ベクトル解析)|勾配]]（ここでは[[行ベクトル]]とする）である。

偏差の二乗和{{Math|''S''('''''&beta;''''')}}は、この勾配がゼロのとき局所最小となる。上式の一次近似を用いると、{{Math|''f''(''x{{sub|i}}'', '''''&beta;''''' + '''''&delta;''''')}}の偏差二乗和は以下のように近似される。

: <math>S\left (\boldsymbol\beta + \boldsymbol\delta\right ) \approx \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right ) - \boldsymbol J_i \boldsymbol\delta\right ]^2</math>

[[数ベクトル空間|ベクトル]]表記すると、以下のように書ける。

: <math>\begin{align}
 S\left (\boldsymbol\beta + \boldsymbol\delta\right ) &\approx \left \|\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right ) - \boldsymbol J\boldsymbol\delta\right \|^2\\
 &= \left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right ) - \boldsymbol J\boldsymbol\delta \right ]^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right ) - \boldsymbol J\boldsymbol\delta\right ]\\
 &= \left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ] - \left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]^{\mathrm T} \boldsymbol J \boldsymbol\delta - \left (\boldsymbol J \boldsymbol\delta\right )^{\mathrm T} \left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ] + \boldsymbol\delta^{\mathrm T} \boldsymbol J^{\mathrm T} \boldsymbol J \boldsymbol\delta\\
 &= \left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ] - 2\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]^{\mathrm T} \boldsymbol J \boldsymbol\delta + \boldsymbol\delta^{\mathrm T} \boldsymbol J^{\mathrm T} \boldsymbol J\boldsymbol\delta
\end{align}</math>

{{Math|''S''('''''&beta;''''' + '''''&delta;''''')}}を{{Mvar|'''&delta;'''}}に関して微分した結果を0とすると、以下の式を得る。

: <math>\left (\boldsymbol J^{\mathrm T} \boldsymbol J\right )\boldsymbol\delta = \boldsymbol J^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]</math>

ここで、{{Mvar|'''J'''}}は[[ヤコビ行列]]であり、その{{Mvar|i}}行目は{{Mvar|'''J'''{{sub|i}}}} に等しい。また、{{Math|'''''f'''''('''''&beta;'''''), '''''y'''''}}はそれぞれ、{{Mvar|i}}行目成分を{{Math|''f''(''x{{sub|i}}''), ''y{{sub|i}}''}}とするベクトルである。ヤコビ行列は一般的には[[正方行列]]ではなく、{{Mvar|m}}をデータ点数、{{Mvar|n}}をベクトル{{Mvar|'''&beta;'''}}のサイズとして{{Math|''m'' &times; ''n''}}長方形行列である。行列積{{Math|'''''J'''''{{sup|T}}'''''J'''''}}は{{Math|''n'' &times; ''n''}}正方行列となり、上式は{{Mvar|n}}連立線形方程式であるからこれを解いて{{Mvar|'''&delta;'''}}を得ることができる。これをそのまま解くのがガウス・ニュートン法である。

LM法では、この方程式を次のように「減衰」させたものに置き換える。

: <math>\left (\boldsymbol J^{\mathrm T} \boldsymbol J + \lambda\mathbf I\right ) \boldsymbol\delta = \boldsymbol J^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right]
\quad (\lambda \geq 0)</math>

ここで、{{Math|'''I'''}}は[[単位行列]]である。これを解いて得られる{{Mvar|'''&delta;'''}}を用いてパラメータベクトル{{Mvar|'''&beta;'''}}の推定値を更新する。

非負の減衰係数{{Mvar|&lambda;}}は各反復ごとに調整される。{{Mvar|S}}が急速に減少する際には小さい値が用いられ、LM法はGN法に近づく。対して、残差が十分に減少しない場合は大きい値の{{Mvar|&lambda;}}が用いられ、{{Mvar|S}}の{{Mvar|'''&beta;'''}}についての勾配は{{Math|&minus;2 ('''''J'''''{{sup|T}}['''''y'''''-''f''('''''&beta;''''')]){{sup|T}}}}であることに注意すると、{{Mvar|&lambda;}}が大きいとき{{Mvar|'''&delta;'''}}は勾配の逆向きに近付きLM法は最急降下法に近づくことがわかる。計算された{{Mvar|'''&delta;'''}}が十分小さくなったとき、もしくは得られたパラメータ推定値{{Math|'''''&beta;''''' + '''''&delta;'''''}}に置き換えた際の偏差二乗和の減少が十分に小さくなったときのどちらかの場合に反復は打ち切られ、解{{Mvar|'''&beta;'''}}を得る。

減衰係数{{Mvar|&lambda;}}が{{Math|{{norm|'''''J'''''{{sup|T}}'''''J'''''}}}}に比べて大きいときは、{{Math|'''''J'''''{{sup|T}}'''''J'''''+&lambda;'''I'''}}の逆行列を求める必要はなく、更新ステップ{{Mvar|'''&delta;'''}}は<math> \lambda^{-1} \boldsymbol J^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]</math>で十分に近似される。

LM法は、{{Mvar|&lambda;}}が大きい値のとき{{Math|'''''J'''''{{sup|T}}'''''J'''''}}の情報がほとんど使われないという欠点を持つ。Fletcherは[[1971年]]、勾配が小さい方向への収束が遅いという問題を避けるため、勾配を曲率に応じてスケールするという考えから、単位行列{{Math|'''I'''}}を{{Math|'''''J'''''{{sup|T}}'''''J'''''}}の[[対角成分|対角要素]]で置き換え、解をスケール不変にする手法が提案された<ref>{{Cite journal|last=FLETCHER|first=R.|year=1971|title=A Modified Marquardt Subroutine for Nonlinear Least Squares|journal=Harwell Report|volume=AERE-R|issue=6799|NAID=10000008775}}</ref>。

: <math>\left [\boldsymbol J^{\mathrm T} \boldsymbol J + \lambda \operatorname{diag}\left (\boldsymbol J^{\mathrm T} \boldsymbol J\right )\right ] \boldsymbol\delta = \boldsymbol J^{\mathrm T}\left [\boldsymbol y - \boldsymbol f\left (\boldsymbol\beta\right )\right ]</math>

同様の減衰因子は、線形[[良設定問題|不良設定問題]]を解くために用いられる{{仮リンク|ティホノフ正則化|en|Tikhonov regularization}}や、[[リッジ回帰]]と呼ばれる[[推計統計学|推計]]法にも現れる。

=== 減衰パラメータの選び方 ===
最良の減衰係数{{Mvar|&lambda;}}を選ぶ方法としては、様々な議論があるが、大なり小なり[[ヒューリスティック]]なものである。それらの選び方がなぜ局所最小点への収束を保証するかを示す理論的な議論はあるが、大域最小点へ収束するような選び方をすると[[最急降下法]]の望ましくない特質、とくに収束が遅いという側面が表われてしまう。

どんな選び方をしても、パラメータの大きさはもとの問題がどれほど良くスケールするかに依存する。マーカートは次のような選び方を推奨している。まず初期値{{Math|1=''&lambda;'' = ''&lambda;''{{sub|0}}}}を選んで最初のステップを実行し、残差{{Math|''S''(''&beta;'')}}が最初の点よりも減った場合は{{Math|''&nu;'' > 1}}なる係数を用いて次のステップは{{Math|1=''&lambda;'' = ''&lambda;''{{sub|0}} / ''&nu;''}}とする。残差が増えてしまった場合は、減るようになるまで繰り返し{{Mvar|&nu;}}を掛け{{Math|''&lambda;''{{sub|0}}''&nu;{{sup|k}}''}}を用いて計算をする。

減衰係数{{Math|''&lambda;''/''&nu;''}}を用いた結果が二乗残差を減少させたなら、これを{{Mvar|&lambda;}}の新しい値とし（かつ{{Math|''&lambda;''/''&nu;''}}を用いた結果を採用し）、プロセスを続行する。もし{{Math|''&lambda;''/''&nu;''}}を用いた残差が{{Mvar|&lambda;}}を用いた残差よりも大きくなったならば、{{Mvar|&lambda;}}の値を変えず、{{Mvar|&lambda;}}を用いた結果を採用する。

''delayed gratification''{{訳語疑問点|date=2022年9月}}と呼ばれる減衰係数の効果的な制御方法がある。この方法では、上り坂のステップごとに係数を少しずつ増やし、下り坂のステップごとにパラメーターを大幅に減らす。この戦略は、最適化の開始時に坂を下りすぎ、後に使用できるステップが制限されて、収束が遅くなることを防ぐことを主眼においている<ref name="Transtrum20112">{{cite journal|last1=Transtrum|first1=Mark K|last2=Machta|first2=Benjamin B|last3=Sethna|first3=James P|year=2011|title=Geometry of nonlinear least squares with applications to sloppy models and optimization|journal=Physical Review E|volume=83|issue=3|pages=036701|publisher=APS|arxiv=1010.1449|bibcode=2011PhRvE..83c6701T|doi=10.1103/PhysRevE.83.036701|pmid=21517619|s2cid=15361707}}</ref>。 ほとんどの場合、増加時には2倍、減少時には3分の1を採用すればうまくいくことが示されているが、大規模な問題の場合は、増加時は1.5倍、減少時は5分の1というより極端な値を用いる方がよいことが知られている<ref name="Transtrum20122">{{cite arXiv|eprint=1201.5885|class=physics.data-an|last1=Transtrum|first1=Mark K|last2=Sethna|first2=James P|title=Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization|year=2012}}</ref>。

=== 測地線加速度項 ===
レーベンバーグ・マルカート法の更新ステップ{{Math|'''''v'''''{{sub|''k''}}}}を、パラメーター空間の[[測地線|測地経路]]に沿った速度と捉えると、測地経路に沿う加速度に対応する2次の項{{Math|'''''a'''''{{sub|''k''}}}}を次のように加える改善が考えられる。

: <math>
\boldsymbol{v}_k + \frac{1}{2} \boldsymbol{a}_k
</math>

ここで、{{Math|'''''a'''''{{sub|''k''}}}}は次の方程式の解である。

: <math>
\boldsymbol{J}_k \boldsymbol{a}_k = -f_{vv}(\boldsymbol x_k)
</math>

この測地線加速度項は速度{{Math|'''''v'''''}}に沿う[[方向微分]] <math>f_{vv}(\boldsymbol x) = \sum_{\mu\nu} v_{\mu} v_{\nu} \partial_{\mu} \partial_{\nu} f (\boldsymbol{x})</math>のみに依存するため、完全な[[ヘッセ行列|二次導関数行列]]を計算する必要はなく、計算コスト上のオーバーヘッドは比較的小さい<ref>{{Cite web |url=https://www.gnu.org/software/gsl/doc/html/nls.html |title=Nonlinear Least-Squares Fitting |publisher=GNU Scientific Library |archive-url=https://web.archive.org/web/20200414204913/https://www.gnu.org/software/gsl/doc/html/nls.html |archive-date=2020-04-14 |access-date=2022-09-17}}</ref>。2次導関数はかなり複雑な式になる場合があるため、[[有限差分]]近似に置き換えると便利な場合がある。

: <math>
\begin{align}
f_{vv}^i &\approx \frac{f_i(\boldsymbol{x} + h \boldsymbol{\delta}) - 2 f_i(\boldsymbol{x}) + f_i(\boldsymbol{x} - h \boldsymbol{\delta})}{h^2} \\
      &= \frac{2}{h} \left( \frac{f_i(\boldsymbol{x} + h \boldsymbol{\delta}) - f_i(\boldsymbol{x})}{h} - \boldsymbol{J}_i \boldsymbol{\delta} \right)
\end{align}
</math>

ここで、{{Math|'''''f'''''('''''x''''')}}と{{Mvar|'''J'''}}は通常のアルゴリズムでもすでに計算されているため、追加で計算する必要があるのは{{Math|'''''f'''''('''''x'''''+h'''''δ''''')}}だけである。有限差分ステップ{{Mvar|h}}の選択によってはアルゴリズムが不安定になる場合があるが、通常はおよそ0.1が妥当である<ref name="Transtrum20122"/>。 

加速度は速度と反対の方向を指す可能性があり、減衰が小さすぎて収束が失速するのを防ぐために、ステップの採用条件に加速度に関する以下のような追加の基準が追加される。

: <math>
\frac{2 \left\| \boldsymbol{a}_k \right\|}{\left\| \boldsymbol{v}_k \right\|} \le \alpha
</math>

ここで{{Mvar|&alpha;}}は通常は1未満の固定値とされる。より難しい問題ではより小さい値とする<ref name="Transtrum20122"/>。 

測地線加速度項を追加すると、収束速度が大幅に向上する可能性があり、特にアルゴリズムが目的関数ランドスケープ上の狭い峡谷を移動する場合に有用である。このような場合、2次の項の効果によりステップ幅はより小さく、精度が高くなる<ref name="Transtrum20122"/>。

== 例 ==
{{Gallery
|File:Lev-Mar-poor-fit.png|悪いフィッティング結果
|File:Lev-Mar-better-fit.png|ましなフィッティング結果
|File:Lev-Mar-best-fit.png|良いフィッティング結果
|width=220}}
この例では、関数<math>y = a \cos\left (bX\right ) + b \sin\left (aX\right )</math> を[[GNU Octave]]上のレーベンバーグ・マルカート法実装''leasqr''関数をもちいてフィッティングする。グラフから、パラメーターフィッティング結果が徐々に改善し、<math>a = 100</math> 、 <math>b = 102</math> の曲線に近付いていく様子が見てとれる。初期パラメータが元のパラメータに近い場合にのみ、曲線が正確に一致する。この例は、レーベンバーグ・マルカート法が初期条件に非常に敏感であることを示す一例である。その理由の1つは、複数の最小点 (関数) が存在すること、つまり{{math|cos(''&beta;x'')}}に一致するパラメータの値は{{mvar|{{hat|&beta;}}}}だけでなく{{math|{{hat|''&beta;''}}+2''n&pi;''}}と複数あることである。

== 脚注 ==
{{脚注ヘルプ}}
{{Reflist}}

== 関連文献 ==
{{refbegin}}
* {{cite journal|last1=Moré|first1=Jorge J.|last2=Sorensen|first2=Daniel C.|year=1983|title=Computing a Trust-Region Step|url=https://digital.library.unt.edu/ark:/67531/metadc283525/m2/1/high_res_d/metadc283525.pdf|journal=SIAM J. Sci. Stat. Comput.|volume=4|issue=3|pages=553–572|doi=10.1137/0904038}}
* {{cite journal|last1=Gill|first1=Philip E.|last2=Murray|first2=Walter|year=1978|title=Algorithms for the solution of the nonlinear least-squares problem|journal=[[SIAM Journal on Numerical Analysis]]|volume=15|issue=5|pages=977–992|bibcode=1978SJNA...15..977G|doi=10.1137/0715063|author-link2=Walter Murray (mathematician)}}
* {{cite journal|last=Pujol|first=Jose|year=2007|title=The solution of nonlinear inverse problems and the Levenberg-Marquardt method|url=http://link.aip.org/link/?GPY/72/W1/1|journal=Geophysics|volume=72|number=4|pages=W1–W16|publisher=SEG|bibcode=2007Geop...72W...1P|doi=10.1190/1.2732552}}{{Dead link|date=February 2020|bot=InternetArchiveBot|fix-attempted=yes}}
* {{cite book|last1=Nocedal|first1=Jorge|last2=Wright|first2=Stephen J.|year=2006|title=Numerical Optimization|edition=2nd|publisher=Springer|isbn=978-0-387-30303-1}}
{{refend}}

== 関連項目 ==
* [[信頼領域法]]
* [[ネルダー・ミード法]]

== 外部リンク ==
* Detailed description of the algorithm can be found in [http://www.nrbook.com/a/bookcpdf.php Numerical Recipes in C, Chapter 15.5: Nonlinear models]
* C. T. Kelley, ''Iterative Methods for Optimization'', SIAM Frontiers in Applied Mathematics, no 18, 1999, {{ISBN2|0-89871-433-8}}. [http://www.siam.org/books/textbooks/fr18_book.pdf Online copy]
* [https://web.archive.org/web/20140301154319/http://www3.villanova.edu/maple/misc/mtc1093.html History of the algorithm in SIAM news]
* [http://ananth.in/docs/lmtut.pdf A tutorial by Ananth Ranganathan]
* K. Madsen, H. B. Nielsen, O. Tingleff, ''[http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3215/pdf/imm3215.pdf Methods for Non-Linear Least Squares Problems]'' (nonlinear least-squares tutorial; L-M code: [https://archive.today/20180516200006/http://www2.imm.dtu.dk/projects/hbn_software/marquardt.m analytic Jacobian] [https://archive.today/20180516200045/http://www2.imm.dtu.dk/projects/hbn_software/SMarquardt.m secant])
* T. Strutz: ''Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond).'' 2nd edition, Springer Vieweg, 2016, {{ISBN2|978-3-658-11455-8}}.
* H. P. Gavin, [http://people.duke.edu/~hpgavin/ce281/lm.pdf ''The Levenberg-Marquardt method for nonlinear least-squares curve-fitting problems'']（[[MATLAB]]内に実装されている。）

{{最適化アルゴリズム}}

{{DEFAULTSORT:れえへんはあく まるかあとほう}}
[[Category:最適化アルゴリズムとメソッド]]
[[Category:数学に関する記事]]
[[Category:統計アルゴリズム]]
[[Category:最小二乗法]]
[[Category:エポニム]]