回帰分析のソースを表示

{{参照方法|date=2020-02}}
{{Otheruses|統計学における回帰|その他|回帰}}
{{回帰分析}}
{{読み仮名|'''回帰'''|かいき|{{Lang-en-short|regression}}}}とは、[[統計学]]において、Y が[[連続 (数学)|連続]]値の時にデータに Y = f(X) というモデル(「定量的な関係の構造<ref>『統計学入門』(東京大学出版会)、257頁</ref>」)を当てはめること。別の言い方では、[[連続]]尺度の[[従属変数]]（目的変数）Y と[[独立変数]]（説明変数）X の間にモデルを当てはめること。X が1次元ならば単回帰、X が2次元以上ならば[[重回帰分析|重回帰]]と言う。Y が[[離散]]の場合は[[分類 (統計学)|分類]]と言う。

{{読み仮名|'''回帰分析'''|かいきぶんせき|{{Lang-en-short|regression analysis}}}}とは、回帰により[[分析]]すること。

回帰で使われる、最も基本的なモデルは <math>Y = AX + B</math> という形式の[[線形回帰]]である。

== 歴史 ==
「回帰」という用語は、英語の「{{lang|en|regression}}」からの翻訳であるが、元々は生物学的現象を表すために19世紀に[[フランシス・ゴルトン]]によって造られた<ref>{{Cite journal|last=Stanton|first=Jeffrey M.|date=2001-01|title=Galton, Pearson, and the Peas: A Brief History of Linear Regression for Statistics Instructors|url=https://www.tandfonline.com/doi/full/10.1080/10691898.2001.11910537|journal=Journal of Statistics Education|volume=9|issue=3|language=en|doi=10.1080/10691898.2001.11910537|issn=1069-1898}}</ref>。ゴルトンは、背の高い祖先の子孫の身長が必ずしも遺伝せず、先祖返りのように平均値に戻っていく、すなわち「逆戻り、後戻り（={{lang|en|regression}}）」する傾向があることを発見した。これを「[[平均への回帰]]」という。ゴルトンはこの事象を分析するために「[[線形回帰]]（{{lang-en-short|linear regression}}）」を発明した。ゴルトンにとって回帰はこの生物学的意味しか持っていなかったが、のちに統計学の基礎となり、「回帰（{{lang-en-short|regression}}）」という用語も統計学へ受け継がれたのである。

== 概要 ==
回帰分析では独立変数と従属変数の間の関係を表す式を統計的手法によって推計する。

'''従属変数'''（'''目的変数'''）とは、説明したい変数（注目している変数）を指す。'''独立変数'''（'''説明変数'''）とは、これを説明するために用いられる変数のことである。[[経済学]]の例を挙げてみると次のようになる。経済全体の[[消費]]（<math>Y</math>）を[[国民所得]]（<math>X</math>）で説明する[[消費関数]]が <math>Y=aX+b</math> というモデルで表されるとする。この例では、消費 Y が従属変数、国民所得 X が独立変数に対応する。そして <math>a</math>、<math>b</math> といった係数（パラメータ）を推定する。

最も単純な方法は上式のような[[一般化線形モデル]]を用いる'''[[線形回帰]]'''であるが、その他の非線形モデルを用いる'''[[非線形回帰]]'''もある。

== モデル ==
線形（[[一般化線形モデル]]、[[一般線形モデル]]など）
[[画像:Normdist regression.png|300px|thumb|[[線形回帰]]の例]]
* [[線形回帰]]
* [[正則化]]項付き
** [[リッジ回帰]]
** [[ラッソ回帰]]
** [[エラスティックネット]]
非線形
* [[k近傍法]]
* [[決定木|回帰木]]
* [[ランダムフォレスト]]
* [[ニューラルネットワーク]]
* [[サポートベクターマシン|サポートベクター回帰]]
* [[射影追跡回帰]]
* {{仮リンク|多変量適応的回帰スプライン|en|Multivariate adaptive regression splines}}

== 最小二乗法による推定 ==
{{main|最小二乗法}}
パラメータを推定する代表的な方法として、[[最小二乗法]]がある。これは、二乗和誤差を最小化する[[最尤推定]]である。

最小二乗法の概要は次の通りである。初めに回帰式（目的変数を説明変数で計算する式）を設定する。次に、回帰式の[[係数]]を求めるが、「従属変数の測定値と、独立変数の測定値および回帰式を用いて求めた推定値の差の二乗和誤差」が最小になるように求める。線形モデルの場合、回帰式の係数で推定値の差の2乗平均を微分し0と置いた連立方程式を解いて求められる。

== 独立変数同士の相関 ==
マーケティングやアンケートでよく使う一般的な重回帰の場合、複数の説明変数同士は強い相関がないという仮定が入っている。そのため、[[一般化線形モデル]]で説明変数同士が関連性の高いものを使うと係数が妙な値になることがあるので注意する必要がある（これは[[多重共線性]]と呼ばれる）。
: 例：小学校での定期テスト得点から重回帰で分析する場合に、理科の点数を従属変数に、算数と国語を説明変数にした場合、算数が増えると理科の点数が多く、国語の点数が高ければ理科の点数が減るといった意味の係数が出ることがある。これは算数と国語の点数に強い相関が両者にあるからである。この場合は算数と国語の平均点と、算数と国語の得点の差というように和と差に数字を加工すると、この2つは相関が大抵低く、かつ解釈しやすい。算数と国語の得点の差は、算数の方が高い生徒の方が理科の点数が高い傾向があるというように理解できるからである。

これは、線形モデルの問題であるため、線形モデルが不適切ならば、非線形モデルを使用すればよい。また、[[共分散構造分析]]という重回帰より複雑な関係を適切に説明できるモデルもある。

== 語源 ==
回帰は語源的には[[回帰効果]]（平均への回帰）に由来する。回帰効果は[[相関]]（直線的な関係）が低い場合に顕著に現れる。しかし回帰分析では必ずしも直線的関係を仮定しない。また「目的変数yを説明変数xに回帰する」といい、「回帰」という言葉が由来とは異なる意味に使われている。

== 解析ソフト ==
* [[NAG数値計算ライブラリ|NAG]]
* [[IMSL]]
* [[R言語]] - 統計解析言語。回帰分析ほか多くの統計関数を標準装備した[[フリーウェア]]。『モデル式』でモデル記述や当てはめが容易。他アプリケーションのファイル取込やODBC接続対応。[[アメリカ食品医薬品局|FDA]]公認。CRANという仕組みで世界の膨大なソフトを無償利用可能。[[可視化]]機能に優れ、日本語対応。[[マルチプラットフォーム]]。
* [[Stata]]
* [[Gretl]]

== 脚注 ==
{{reflist}}

== 参考文献 ==
* {{Cite book|和書 |title=統計学入門 |year=1991 |publisher=東京大学出版会}}
* {{Cite book|和書 |title=計測における誤差解析入門 |author=J. R. Taylor |editor=林茂雄、馬場凉（訳） |year=2000 |publisher=東京化学同人 |ref=Taylor(2000)}}
* {{Cite book|和書 |author=蓑谷千凰彦 |title=回帰分析のはなし |year=1985 |publisher=東京図書 |ref=蓑谷(1985)}}

== 教科書など ==
(拡充予定)
* 宮川雅巳：「統計的因果推論：回帰分析の新しい枠組み」、朝倉書店（シリーズ 予測と発見の科学 1）、ISBN 978-4-254-12781-2 (2004年3月25日).

== 関連項目 ==
* [[統計学]]
* [[計量経済学]]
* [[相関係数]]
* [[傾向推定]]
* [[曲線あてはめ]]
* [[アンスコムの例]]
* [[分散拡大係数]]
* [[多重共線性]]

{{統計学}}
{{Normdaten}}

{{DEFAULTSORT:かいきふんせき}}
[[Category:統計学]]
[[Category:計量経済学]]
[[Category:数学に関する記事]]
[[Category:分析]]