非線形回帰のソースを表示

{{回帰分析}}
[[Image:Michaelis-Menten saturation curve of an enzyme reaction.svg|thumb|300 px| 詳細は[[ミカエリス・メンテン式]]を見よ。]]

統計学において、'''非線形回帰'''（ひせんけいかいき、{{lang-en-short|Nonlinear regression}}）は、観測から得られたデータがモデルパラメータの非線形結合であり、1つ以上の独立した変数に依存する関数によってモデル化される[[回帰分析]]の一形式である。データは逐次近似法によって当て嵌められる。

==一般  ==
非線形回帰において、
:<math> \mathbf{y} \sim f(\mathbf{x}, \boldsymbol\beta)</math>
という形式の[[統計モデル]]は[[独立変数]]のベクトル'''x'''とその関連した 観測された[[従属変数]]'''y'''を結び付ける。関数''f''はパラメータ''β''のベクトルの要素において非線形であるが、その他の点では任意である。例えば、酵素の反応速度論に対する[[ミカエリス・メンテン式|ミカエリス・メンテン]]モデルは2つのパラメータと1つの独立変数を持ち、これらは''f''によって結び付けられる:{{efn|このモデルは生化学の慣習では以下のように表記される:
:<math> v = \frac{V_\max\ [\mbox{S}]}{K_m + [\mbox{S}]} </math>
}}。
:<math> f(x,\boldsymbol\beta)= \frac{\beta_1 x}{\beta_2 + x} </math>

この関数は、2つの''β''の[[線形結合]]として表わすことができないため、非線形である。

[[系統誤差]]が独立変数中に存在するかもしれないが、その取扱いは回帰分析の対象範囲外である、もし独立変数に誤差があるとすると、これは{{仮リンク|変数誤差モデル|en|Errors-in-variables models}}であり、これも対象範囲外である。

非線形関数のその他の例には、[[指数関数]]、{{仮リンク|対数増加|en|Logarithmic growth|label=対数関数}}、[[三角関数]]、[[冪乗|冪関数]]、[[ガウス関数]]、[[ローレンツ曲線]]がある。指数関数または対数関数といった一部の関数は、それらが線形となるように変換することができる。そのように変換された時、標準的な線形回帰を行うことができるが、注意深く適用しなければならない。より詳細については[[#変換|線形化§変換]]を見よ。

一般に非線形回帰には[[線形回帰]]に存在するような、最良の当て嵌めパラメータに関する[[閉形式]]の式は存在しない。大抵は、最良のパラメータを決定するために数値的[[数理最適化|最適化]]アルゴリズムが適用される。ここでも線形回帰と対照的に、最適化される関数には多くの[[極小点]]（ローカルミニマム）が存在する可能性があり、最小点（グローバルミニマム）でさえも{{仮リンク|推定量の偏り|en|Bias of an estimator|label=偏った}}推定値を与える可能性がある。実際上は、二乗和の最小値を探るために、最適化アルゴリズムと併せて、パラメータの推定値が使われる。

非線形データモデリングに関する詳細については、[[最小二乗法]]および[[非線形最小二乗法]]を見よ。

==回帰統計値==
この手順の根底にある仮定は、このモデルが線形関数、すなわち一次の[[テイラー級数]]
:<math> f(x_i,\boldsymbol\beta) \approx f(x_i,0) + \sum_j J_{ij} \beta_j </math>
によって近似できるというものである。上式において<math>J_{ij} = \frac{\partial f(x_i,\boldsymbol\beta)}{\partial \beta_j}</math>。最小二乗推定量は以下の式で与えられる。
:<math>\hat{\boldsymbol{\beta}} \approx \mathbf { (J^TJ)^{-1}J^Ty}.</math>
非線形回帰統計値は計算され、線形回帰統計値と同じように使われるが、式では'''X'''の位置に'''J'''を使用している。線形近似はこの統計値へ[[偏り]]（バイアス）を導入する。したがって、非線形モデルから導き出された統計値を解釈するためには普段よりもより注意が必要である。

==普通最小二乗法と加重最小二乗法==
最良適合曲線はしばしば、[[残差平方和|残差二乗和]]を最小化するものであると想定される。これは{{仮リンク|普通最小二乗法|en|ordinary least squares|label=普通最小二乗}}（OLS）アプローチである。しかしながら、従属変数が一定の分散を持たない場合は、加重残差二乗和が最小化されるだろう（{{仮リンク|加重最小二乗法|en|Weighted least squares}}を見よ）。それぞれの重みは理想的には観測値の分散の逆数と等しくなるべきであるが、反復加重最小二乗アルゴリズムでは、重みは繰り返し毎に再計算することができる。

==線形化==
===変換===
一部の非線形回帰問題は、モデル定式化の適切な変換によって線形領域へと移すことができる。

例えば、パラメータ''a''および''b''と乗法誤差項''U''を持つ非線形問題
:<math> y = a e^{b x}U \,\!</math>
を考える。両辺の対数を取ると、この式は
:<math> \ln{(y)} = \ln{(a)} + b x + u, \,\!</math>
となる。上式において、''u'' = ln(''U'')である。この式は''x''に関するln(''y'') の線形回帰によって未知のパラメータの推定ができることを示唆している。この線形回帰の計算は反復的最適化を必要としない。しかしながら、非線形変換の使用には注意が必要である。データ値の影響は変化し、モデルの誤差構造と全ての推論結果の解釈も同様に変化する。これらは望ましくない効果である。その一方で、誤差の最大の源が何かに依存して、非線形変換はガウス関数的に誤差をばらまく。そのため非線形変換を実行するかどうかの選択はモデル情報の熟慮に基づかなければならない。

[[ミカエリス・メンテン式|ミカエリス・メンテン反応速度論]]では、反応速度の逆数1/''v''に対して基質濃度の逆数1/[''S''] をプロットする線形の[[ラインウィーバー＝バークプロット]]
:<math> \frac{1}{v} = \frac{1}{V_\max} + \frac{K_m}{V_{\max}[S]}</math>
がよく使われてきた。しかしながら、ラインウィーバー＝バークプロットはデータの誤差に非常に敏感であり、特定の範囲の独立変数 [''S''] でデータの当て嵌めに強く偏っているため、その使用は断固として推奨されない。

[[指数型分布族]]に属する誤差分布では、リンク関数が[[一般化線形モデル]]の枠組みの下でパラメータを変換するために使われうる。

===分割回帰===
[[Image:MUSTARD.JPG|thumb|175 px|right|カラシの収量と土壌の塩分濃度]]
{{main|分割回帰}}

[[独立変数]]（説明変数、X）は複数のクラスまたは区分へと分割することができ、区分ごとに[[線形回帰]]を実行することができる。[[信頼区間|信頼度分析]]を伴う分割回帰では[[従属変数]]（説明変数、Y）が様々な区分において異なる振る舞いをする結果が得られるかもしれない<ref>R.J.Oosterbaan, 1994, Frequency and Regression Analysis. In: H.P.Ritzema (ed.), Drainage Principles and Applications, Publ. 16, pp. 175-224, International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands. {{ISBN2|90-70754-33-9}} . Download as PDF : [http://www.waterlog.info/pdf/regtxt.pdf]</ref>。

右図は、[[塩害|土壌塩分]]（X）がマスタードの収量（Y）に最初は、「臨界値」または「閾値」まで、影響を与えず、その後は収量に負の影響を与えることを示す<ref>R.J.Oosterbaan, 2002. Drainage research in farmers' fields: analysis of data. Part of project “Liquid Gold” of the
International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands. Download as PDF : [http://www.waterlog.info/pdf/analysis.pdf]. The figure was made with the [[SegReg]] program, which can be downloaded freely from [http://www.waterlog.info/segreg.htm]</ref>。

==出典==
{{Reflist}}

== 注 ==
{{notelist}}

==推薦文献 ==
*{{cite book |first=R. M. |last=Bethea |first2=B. S. |last2=Duran |first3=T. L. |last3=Boullion |title=Statistical Methods for Engineers and Scientists |location=New York |publisher=Marcel Dekker |year=1985 |isbn=0-8247-7227-X }}
*{{cite journal |last=Meade |first=N. |first2=T. |last2=Islam |year=1995 |title=Prediction Intervals for Growth Curve Forecasts |journal=Journal of Forecasting |volume=14 |issue=5 |pages=413–430 |doi=10.1002/for.3980140502 }}
*{{cite book |first=K. |last=Schittkowski |title=Data Fitting in Dynamical Systems |publisher=Kluwer |location=Boston |year=2002 |isbn=1402010796 }}
*{{cite book |first=G. A. F. |last=Seber |first2=C. J. |last2=Wild |title=Nonlinear Regression |location=New York |publisher=John Wiley and Sons |year=1989 |isbn=0471617601 }}

==関連項目==
* [[非線形最小二乗法]]
* [[曲線あてはめ]]
* [[一般化線形モデル]]
* [[局所回帰]]

{{統計学}}

{{DEFAULTSORT:ひせんけいかいき}}
[[Category:回帰分析]]
[[Category:統計モデル]]