多重共線性のソースを表示

{{出典の明記|date=2021年6月25日 (金) 16:48 (UTC)}}
<!-- ダミー編集で追加したコメントです。削除して構いません。 -->
[[統計学]]において、'''多重共線性'''（たじゅうきょうせんせい、{{lang-en|Multicollinearity}}、単に共線性とも略される）とは、[[重回帰分析#多重共線性|重回帰モデル]]において、[[数式#変数|説明変数]]の中に、[[相関係数]]が高い組み合わせがあることをいう（例: 体重とBMI）。重回帰分析の際、説明変数を増やすほど[[決定係数]]が高くなりやすいために、より多くの説明変数を入れ、多重共線性を起こす可能性がある<ref>{{cite book|和書 | title=わかりやすい薬学系の統計学入門| publisher=[[講談社]] | author=井上俊夫, 岩崎祐一, 加藤剛, 熊倉隆二|| year=2020 | isbn=978-4-06-156312-4| edition=第９版|others=小林賢, 佐古兼一 編| page=106}}</ref>。このような状況では、モデルやデータの小さな変化に応じて、重回帰の係数推定値が不規則に変化しうる。多重共線性は、少なくともサンプルデータセット内では、全体としてのモデルの予測力または信頼性を低下させず、個々の予測変数に関する計算にのみ影響を与える。つまり、共線性予測変数を持つ多変量回帰モデルは、予測変数の全体がどれだけよく[[従属変数|結果変数]]を予測するかを示すことができるが、個々の予測変数に関する有効な結果、またはどの予測変数が不要かに関しては有効な結果を与えないことも考えられる。

なお、最小二乗法（OLS）などの回帰分析の前提条件を説明する際、「多重共線性がない」という表現は、完全な多重共線性がないこと、すなわち予測変数間に正確な（非確率的な）線形関係がないことを意味する。このような場合、[[計画行列]] <math>X</math> は[[フルランク]]に満たないため、{{仮リンク|モーメント行列|en|Moment matrix|label=モーメント行列（能率行列）}} <math>X^{\mathsf{T}}X</math> は[[正則行列|可逆行列]]にならない。このような状況では、一般的な線形モデル <math>y = X \beta + \epsilon</math> や、 最小二乗法（OLS）による推定量 <math>\hat{\beta}_{OLS} = (X^{\mathsf{T}}X)^{-1}X^{\mathsf{T}}y</math> が存在しないことになる。

いずれにしても、多重共線性は計画行列の特性であって、基礎となる統計モデルの特性ではない。

== 定義 ==
'''共線性'''とは、2つの説明変数の間に直線的な関連性があることである。2つの変数の間に正確な[[線形関係]]がある場合、2つの変数は完全に共線性を持っている。例えば、<math> X_{1} </math> と <math> X_{2} </math> は、すべての観測値 i について次のようになるようなパラメータ <math>\lambda_0</math> と <math>\lambda_1</math> が存在する場合、完全に共線性を持っていると言える。

: <math> X_{2i} = \lambda_0 + \lambda_1 X_{1i}</math>

'''多重共線性'''とは、[[重回帰分析|重回帰モデル]]において、2つ以上の説明変数が高い線形関係にある状況を指す。例えば、上の式のように、2つの独立変数の相関が 1 または -1 に等しい場合、完全な多重共線性があると言える。実際には、データセットで完全な多重共線性に直面することはほとんどない。より一般的には、2つ以上の独立変数の間に近似的な線形関係がある場合に、多重共線性の問題が発生する。

[[File:Multicollinearity.jpg|thumb|多重共線性の説明図]]

数学的には、ある変数の間に1つ以上の厳密な線形関係が存在する場合、その変数の集合は完全な多重共線性を持つ。例えば、次のような場合である。

: <math>
\lambda_0 + \lambda_1 X_{1i} + \lambda_2 X_{2i} + \cdots + \lambda_k X_{ki} = 0
</math>

ここで、<math> \lambda_k </math> は定数であり、<math> X_{ki} </math> は k番目の説明変数に関する i番目の観測値である。重回帰方程式
: <math> Y_{i} = \beta _0 + \beta _1 X_{1i} + \cdots + \beta _k X_{ki} + \varepsilon _{i} </math>
のパラメータの推定値を得ようとする過程を調べることで、多重共線性に起因する一つの問題を探ることができる。

[[最小二乗法|最小二乗法（OLS）]]による推定では、行列 <math> X^{T} X </math> の逆行列を求めることになる。

ここで
: <math> X = \begin{bmatrix}

      1 & X_{11} & \cdots & X_{k1} \\

      \vdots & \vdots & & \vdots \\

      1 & X_{1N} & \cdots & X_{kN}

\end{bmatrix}</math>

は、N×(k+1) 行列で、N は観測値の数、k は説明変数の数である（N は k+1 以上であることが必要）。独立変数の間に厳密な線形関係（完全な多重共線性）がある場合、X の列の少なくとも1つは他の列の線形結合であり、したがって、X の（つまり X<sup>T</sup>X の）[[行列の階数|ランク]]は k+1 より小さくなり、行列 X<sup>T</sup>X は可逆ではない。

完全な多重共線性は、不要な情報を含む生のデータセットを扱う際によく見られる。しかし、いったん冗長性（重複や余分さ）を特定して除去しても、研究対象のシステムに固有である相関関係が原因で、近似的な多重共線性を持つ変数が残ることがしばしばある。このような場合には、上の式が成り立つ代わりに、誤差項 <math>v_i</math> を加えた形で式が成り立つ。

:<math>
\lambda_0 + \lambda_1 X_{1i} + \lambda_2 X_{2i} + \cdots + \lambda_k X_{ki} + v_i = 0
</math>

この場合、変数の間に正確な線形関係はないが、<math>v_i</math> の分散が <math>\lambda</math> の値のいくつかのセットに対して小さい場合は、変数 <math> X_j </math> はほぼ完全な多重共線性を持っている。この場合、行列 X<sup>T</sup>X は[[逆行列]]を持つものの、[[条件数|悪条件]]である。そのため、コンピュータの[[アルゴリズム]]が近似的な逆行列を計算できるかどうかは不明である。また、計算できたとしても、計算された逆行列は、データのわずかな変化（[[丸め誤差]]やサンプルされたデータポイントのわずかな変化の影響が大きくなるため）に非常に敏感で、非常に不正確であったり、サンプルに依存したりする可能性がある。

== 検出方法 ==
モデルに多重共線性が存在する可能性を示す指標には以下のものがある。

# [[独立変数|予測変数]]を追加または削除したときの推定回帰係数の大きな変化
# 多重回帰において影響を受ける変数の回帰係数が有意ではないが、それらの係数がすべてゼロであるという複合仮説（結合仮説）が棄却される（[[F検定]]を使用）。
# 多変量回帰で特定の[[独立変数|説明変数]]の係数が有意でなくても、その説明変数に対する被説明変数の[[回帰分析|単回帰]]でその係数がゼロから有意に異なる場合、この状況は多変量回帰における多重共線性を示している。
#多重共線性の正式な検出許容値または[[分散拡大係数]]（VIF）を提案している著者もいる。<br><math>\mathrm{tolerance} = 1-R_{j}^2,\quad \mathrm{VIF} = \frac{1}{\mathrm{tolerance}}</math><br>ここで、<math>R_{j}^2</math> は、説明変数 ''j'' を他のすべての説明変数に回帰したときの[[決定係数]]である。公差が 0.20 または 0.10 未満、および/または VIF が 5 または 10 以上であれば、多重共線性の問題があることを示している<ref>{{Cite journal | doi = 10.1007/s11135-006-9018-6| title = A Caution Regarding Rules of Thumb for Variance Inflation Factors| year = 2007| last1 = O’Brien | first1 = R. M.| journal = Quality & Quantity| volume = 41| issue = 5| pages = 673–690}}</ref>。
#'''Farrar–Glauber 検定''': <ref>{{Cite journal | last1 = Farrar | first1 = Donald E. | last2 = Glauber | first2 = Robert R. | year = 1967 | title = Multicollinearity in Regression Analysis: The Problem Revisited | journal = [[:en:Review of Economics and Statistics|Review of Economics and Statistics]] | volume = 49 | issue = 1 | pages = 92–107 | jstor = 1937887 | url =https://doi.org/10.2307/1937887 | doi = 10.2307/1937887 | hdl = 1721.1/48530 | hdl-access = free }}</ref> 変数が直交していることがわかれば、多重共線性はない。変数が直交していなければ、少なくともある程度の多重共線性が存在していることになる。<br>C. Robert Wichers は、Farrar-Glauber偏相関検定は、与えられた偏相関が異なる多重共線性パターンに対応する可能性があるという点で、効果がないと主張している<ref>{{Cite journal | last1 = Wichers | first1 = C. Robert | year = 1975 | title = The Detection of Multicollinearity: A Comment | journal = [[:en:Review of Economics and Statistics|Review of Economics and Statistics]] | volume = 57 | issue = 3 | pages = 366–368 | jstor = 1923926 | doi = 10.2307/1923926 }}</ref>。Farrar-Glauber検定は、他の研究者からも批判されている<ref>{{Cite journal | last1 = Kumar | first1 = T. Krishna | year = 1975 | title = Multicollinearity in Regression Analysis | journal = [[:en:Review of Economics and Statistics|Review of Economics and Statistics]] | volume = 57 | issue = 3 | pages = 365–366 | jstor = 1923925 | doi = 10.2307/1923925 }}</ref><ref>{{Cite journal | last1 = O'Hagan | first1 = John | last2 = McCabe | first2 = Brendan | year = 1975 | title = Tests for the Severity of Multicolinearity in Regression Analysis: A Comment | journal = [[:en:Review of Economics and Statistics|Review of Economics and Statistics]] | volume = 57 | issue = 3 | pages = 368–370 | jstor = 1923927 | doi = 10.2307/1923927 }}</ref>。
#'''条件数検定''': 行列における[[条件数|悪条件]]の標準的な尺度が条件数である。これは、行列の逆行列が有限精度の数値（標準的なコンピュータの[[単精度浮動小数点数]]や[[倍精度浮動小数点数]]）では数値的に不安定であることを示すものである。 元の行列の小さな変化に対して、計算された逆行列がどの程度敏感に反応するかを示す。条件数は、最大の[[固有値]]を[[設計行列]]の最小の固有値で割った値の平方根を求めることで計算される。条件数が30以上の場合、その回帰は深刻な多重共線性を持つ可能性がある。多重共線性はさらに、高い条件数に関連する2つ以上の変数が説明される分散の割合が高い場合に存在する。この方法の利点は、どの変数が問題の原因となっているかを示せることである<ref name="Belsley1991">{{cite book |last= Belsley |first= David |year= 1991 |title=Conditioning Diagnostics: Collinearity and Weak Data in Regression |url= https://archive.org/details/conditioningdiag0000bels |url-access= registration |location=New York |publisher=Wiley |isbn=978-0-471-52889-0 }}</ref>。
#'''データ摂動処理'''<ref>[[R言語]]用のパッケージがある。：{{cite web |title=perturb: Tools for evaluating collinearity|accessdate=2015年7月18日 13:55 |work=R Project |url=https://cran.r-project.org/web/packages/perturb/index.html }}</ref>多重共線性は、データにランダムなノイズを加えて何度も回帰を繰り返し、係数がどれだけ変化するかを見ることで検出できる。
#説明変数間の相関行列を作成すると、右辺の変数の組み合わせが多重共線性の問題を引き起こしている可能性を示すことができる。 相関値（非対角要素）が 0.4 以上であれば、多重共線性の問題があると解釈されることがある。しかしこの方法は非常に問題が多く、推奨されない。直感的に表現するなら、相関は二変数の関係を表すのに対し、共線性は多変数の現象である。

== 結果 ==
高度な多重共線性の結果として、たとえ行列 <math>X^{\top}X</math> が可逆行列であっても、コンピュータ・アルゴリズムで近似逆行列を得られないかもしれない。また、逆行列を得たとしても数値的には不正確かもしれない。しかし、正確な <math>X^{\top}X</math> 行列がある場合でも、次のような結果が生じる。

多重共線性がある場合、他の変数をコントロールしながら、ある変数の従属変数 <math>Y</math> への影響を推定することは、予測変数が互いに無相関の場合よりも精度が低くなる傾向がある。回帰係数の通常の解釈は、他の変数を一定に保ったまま、独立変数 <math>X_{1}</math> を 1単位変化させたときの効果の推定値を提供するというものである。与えられたデータセットにおいて、<math>X_{1}</math> が別の独立変数 <math>X_{2}</math> と高い相関がある場合、<math>X_{1}</math> と <math>X_{2}</math> が特定の線形確率的関係を持つ観測値の組を持っている。<math>X_{1}</math> のすべての変化が <math>X_{2}</math> の変化と独立であるような観測値の組はないので、<math>X_{1}</math> の独立した変化の効果の不正確な推定値を持っていることになる。

ある意味、共線的な変数は、従属変数に関する同じ情報を含んでいる。名目上「異なる」測定値が実際に同じ現象を定量化している場合、それらは冗長であると言える。あるいは、変数に異なる名前が付けられ、おそらく異なる数値測定尺度を使用しているが、互いに高い相関がある場合、それらは冗長性を持つことになる。

多重共線性の特徴の一つに、影響を受ける係数の[[標準誤差]]が大きくなる傾向がある。この場合、係数がゼロであるという仮説の検定では、説明変数の効果がないという誤った[[帰無仮説]]を棄却できず、[[第二種の過誤]]となることがある。

多重共線性の別の問題は、入力データの小さな変化がモデルの大きな変化につながり、パラメータ推定値の符号が変わることもあるということである<ref name="Belsley1991" />。

このようなデータの冗長性の主な危険性は、[[回帰分析]]モデルにおける[[オーバーフィッティング]]である。最良の回帰モデルは、予測変数がそれぞれ従属（結果）変数と高い相関を持つが、せいぜい互いに最小の相関しか持たないものである。このようなモデルは、しばしば「低ノイズ」と呼ばれ、統計的に[[ロバスト]]である（つまり、同じ統計的母集団から抽出された変数セットの多数のサンプルにわたって信頼性の高い予測を行う）。

基本的な仕様が正しい限り、多重共線性は実際には結果を歪めることはなく、関連する独立変数に大きな[[標準誤差]]が生じるだけである。さらに重要なことは、回帰の通常の使用法は、モデルから係数を取り出して、それを他のデータに適用することである。多重共線性によって係数値の推定値が不正確になるため、結果として得られるサンプル外の予測値も不正確になる。また、新しいデータの多重共線性のパターンが、当てはめられたデータのパターンと異なる場合、このような外挿は予測に大きな誤差をもたらす可能性がある<ref>{{cite book |last=Chatterjee |first=S. |last2=Hadi |first2=A. S. |last3=Price |first3=B. |year=2000 |title=Regression Analysis by Example |url=https://archive.org/details/regressionanalys0000chat_q4i3 |url-access=registration |edition=Third |publisher=John Wiley and Sons |isbn=978-0-471-31946-7 }}</ref>。

== 対策 ==
#例えば春夏秋冬などの[[ダミー変数]]をすべてのカテゴリーに入れ、回帰に定数項を入れることで、完璧な多重共線性が保証される。
#データの独立したサブセットを使って推定し、その推定値をデータセット全体に適用するとどうなるか試してみる。 理論的には、小さいデータセットを使って推定した方が、多少高い分散が得られるはずだが、係数値の期待値は同じになるはずである。 当然、観測された係数値は変化するが、その変化の大きさを見てみる。
# 多重共線性があってもモデルをそのままにしておく。予測変数が回帰モデルの基になったデータと同じ多重共線性のパターンを新しいデータでも取ることができれば、多重共線性の存在は、適合したモデルを新しいデータに外挿する効率に影響しない<ref>{{cite book| last = Gujarati| first = Damodar|title = Basic Econometrics| year = 2009| url = https://archive.org/details/basiceconometric05edguja| url-access = registration| edition = 4th| publisher = McGraw−Hill| pages = [https://archive.org/details/basiceconometric05edguja/page/363 363]| chapter = Multicollinearity: what happens if the regressors are correlated?}}</ref>。
# 変数の一つを削除する。説明変数を削除することで、有意な係数を持つモデルを作成することができる。しかし、変数を落としたために情報は失われる。関連する変数を省略すると、脱落した変数と相関のある残りの説明変数の係数推定値に偏りが生じてしまう。
# より多くのデータを取得する。可能であれば、これが望ましい解決策である。より多くのデータがあれば、より正確なパラメータ推定値（より低い標準誤差）を生み出すことができる。これは、回帰係数の推定値の分散をサンプルサイズと多重共線性の度合いで表す[[分散拡大係数]]の式からも分かる。
# 予測変数を平均化する。[[多項式]]の項（<math>x_1</math>、<math>x_1^2</math>、<math>x_1^3</math> など）や[[交互作用]]の項（<math>x_1 \times x_2</math> など）を生成すると、問題の変数が限られた範囲（例えば、[2,4]）にある場合、多重共線性を引き起こすことがある。一般的には何の効果も得られないが、平均化はこの特殊な多重共線性を解消する<ref>{{Cite web|url=https://newonlinecourses.science.psu.edu/stat501/lesson/12/12.6|title=12.6 - Reducing Structural Multicollinearity {{!}}。STAT 501|website=newonlinecourses.science.psu.edu|access-date=2019-03-16}}</ref>。慎重に設計されたコンピュータプログラムを使用しない場合は、[[丸め]]などの計算上のステップから生じる問題を克服するのに有効である。
# 独立変数を標準化する。 これにより、[[条件指数 (統計学)|条件指数]]が 30 を超えた場合の誤判定を減らせる可能性がある。
# また、[[ゲーム理論]]のツールである[[シャプレー値]]を用いることで、モデルが多重共線性の影響を説明できることが示唆されている。 シャプレー値は、各予測変数に値を割り当て、重要性のすべての可能な組み合わせを評価する<ref>{{cite journal |last=Lipovestky |last2=Conklin |year=2001 |title=Analysis of Regression in Game Theory Approach |journal=Applied Stochastic Models in Business and Industry |volume=17 |issue=4 |pages=319–330 |doi=10.1002/asmb.446 }}</ref>。
# [[リッジ回帰]]や{{仮リンク|主成分回帰|en|Principal component regression}}、[[部分的最小二乗回帰]]などが使用できる。
# 相関関係にある説明因子が、同じ基礎的説明因子の異なるラグ値である場合、推定されるべき係数の相対的な値に一般的な構造を課すことで、{{仮リンク|分布ラグ|en|Distributed lag}}手法を用いることができる。

== 実例 ==
=== 生存率分析 ===
多重共線性は、[[生存率曲線|生存率の分析]]において深刻な問題を表す可能性がある。時間的に変化する共変量が研究の経過とともにその値を変化させうるからである。多重共線性の結果への影響を評価するために特別な手順が推奨される<ref>詳細な議論についてはこちら：{{Cite journal | doi = 10.1016/S0377-2217(03)00069-9| title = Customer attrition analysis for financial services using proportional hazard models| year = 2004| last1 = Van Den Poel | first1 = D. | last2 = Larivière | first2 = B. | journal = European Journal of Operational Research| volume = 157| pages = 196–217| citeseerx = 10.1.1.62.8919}}</ref>。

=== 満期までの期間が異なる場合の金利 ===
様々な場面で、満期までの期間が異なる複数の金利が、貨幣やその他の[[金融資産]]の保有量や[[固定投資]]の支出量など、何らかの経済的[[意思決定]]に影響を与えているという仮説が立てられることがある。この場合、金利は一緒に動く傾向があるので、これらの様々な金利を含めると、一般的には多重共線性の問題が大きくなる。 実際、各金利が従属変数に対して個別の効果を持っている場合、その効果を分離することは非常に困難である。

== 発展・拡張 ==
「横方向の共線性（{{Lang-en-short|lateral collinearity|links=no}}）」という概念は、従来の多重共線性の考え方を発展させたもので、説明変数と基準変数（すなわち被説明変数）の間の共線性も含んでおり、これらは互いにほぼ同じものを測定している可能性があるという意味である<ref>{{cite journal |last=Kock |first=N. |last2=Lynn |first2=G. S. |year=2012 |title=Lateral collinearity and misleading results in variance-based SEM: An illustration and recommendations |journal=[[:en:Journal of the Association for Information Systems|Journal of the Association for Information Systems]] |volume=13 |issue=7 |pages=546–580 |url=http://www.scriptwarp.com/warppls/pubs/Kock_Lynn_2012.pdf |doi=10.17705/1jais.00302 }}</ref>。

== 関連項目 ==
*[[条件数]]
*[[線形独立]]

== 脚注 ==
{{Reflist}}

== 参考文献 ==
* {{cite book |last=Belsley |first=David A. |last2=Kuh |first2=Edwin|last3=Welsch |first3=Roy E. |title=Regression Diagnostics: Identifying Influential Data and Sources of Collinearity |location=New York |publisher=Wiley |year=1980 |isbn=978-0-471-05856-4 }}
* {{cite book |last=Goldberger |first=Arthur S.|chapter=Multicollinearity |title=A Course in Econometrics |location=Cambridge |publisher=Harvard University Press |year=1991 |pages=245–53 |chapter-url=https://books.google.com/books?id=mHmxNGKRlQsC&pg=PA245|isbn=0674175441|isbn2=9780674175440}}
* {{cite book |last=Hill |first=R. Carter |last2=Adkins |first2=Lee C. |chapter=Collinearity |title=A Companion to Theoretical Econometrics |editor-first=Badi H. |editor-last=Baltagi |publisher=Blackwell |year=2001 |isbn=978-0-631-21254-6 |pages=256–278 |doi=10.1002/9780470996249.ch13 }}
* {{cite book |last=Johnston |first=John |title=Econometric Methods |url=https://archive.org/details/econometricmetho0000john_t7q9 |url-access=registration |location=New York |publisher=McGraw-Hill |year=1972 |edition=Second |pages=[https://archive.org/details/econometricmetho0000john_t7q9/page/159 159]–168|isbn=0070326797}}
* {{cite book |last=Kmenta |first=Jan|title=Elements of Econometrics |location=New York |publisher=Macmillan |year=1986 |edition=Second |isbn=978-0-02-365070-3 |pages=[https://archive.org/details/elementsofeconom0003kmen/page/430 430–442] |url-access=registration |url=https://archive.org/details/elementsofeconom0003kmen/page/430 }}
* {{cite book |last=Maddala |first=G. S.|last2=Lahiri |first2=Kajal |title=Introduction to Econometrics |location=Chichester |publisher=Wiley |edition=Fourth |year=2009 |isbn=978-0-470-01512-4 |pages=279–312 }}
* {{cite paper |last=Tomaschek |first=Fabian |last2=Hendrix |first2=Peter |last3=Baayen |first3=R. Harald |title=Strategies for addressing collinearity in multivariate linguistic data |journal=Journal of Phonetics | volume=71 | pages = 249-267 |year=2018|issn=0095-4470}}

== 関連文献 ==
*{{cite book |last=Frisch |first=Ragnar|title=Statistical confluence analysis by means of complete regression systems|publisherOslo |year1934|oclc=3198916 |page=75 }}
:：変数モデルの多重方程式誤差の観点からの多重共線性の研究であり、多重共線性という語の最古の使用例。Ragnar Frischが初めて"multiple collinearity"を縮めてmulticollinearity（多重共線性）と呼んだ。
*{{cite book |last1=Stone |first1=Richard |last2=Rowe |first2=D. A. |last3=[et al.]|title=The Measurement of Consumers' Expenditure and Behaviour in the United Kingdom, 1920-1938 |publisher=The University Press |year=1954|volume=1|oclc=349656 |page=302}}
:：上記の変数モデルへの関心が薄れたとき、多重共線性という用語は意味を変えて生き残った。今では、回帰モデルの設計行列のランクが不足していることを意味している。この変化は多重共線性の議論(p.302)に見ることができる。

== 外部リンク ==
* {{cite web |first=Mark |last=Thoma |author-link=Mark Thoma |date=2 March 2011 |title=Economics 421/521 - Econometrics - Winter 2011 - Lecture 16|publisher=[[オレゴン大学]] |accessdate=2014年3月31日 08:52|via=[[YouTube]] |url=https://www.youtube.com/watch?v=K8eFiMIb8qo&list=PLD15D38DC7AA3B737&index=16#t=25m09s }}


{{Statistics-stub}}
{{統計学|state=collapsed}}

{{authority control}}
{{DEFAULTSORT:たしゆうきようせんせい}}
[[Category:数学に関する記事]]
[[Category:統計学]]
[[Category:実験計画法]]
[[Category:回帰分析]]
[[Category:行列]]
[[Category:指標]]