部分的最小二乗回帰のソースを表示

{{回帰分析}}
'''部分的最小二乗回帰'''（ぶぶんてきさいしょうじじょうかいき、{{lang-en-short|partial least squares regression}}、略称: '''PLS'''回帰）は、{{仮リンク|主成分回帰|en|principal component regression}}といくらかの関係を持つ[[統計学|統計的]]手法の一つである。'''偏最小二乗回帰'''または'''部分最小二乗回帰'''とも呼ばれる。PLS回帰は、応答変数と説明変数との間の最大[[分散 (確率論)|分散]]の[[超平面]]を探す代わりに、[[独立変数と従属変数|予測変数]]と{{仮リンク|観測可能な変数|en|Observable variable}}を新たな空間に射影することによって[[線形回帰]]モデルを探る。''X''および''Y''のデータが共に新たな空間に射影されるため、PLSに分類される手法群は双線形因子モデルとも呼ばれる。部分的最小二乗判別分析（PLS-DA）は、Yが分類である時の派生法である。

PLSは2つの[[行列]]（''X''および''Y''）間の基本的関係を探すために用いられる。すなわち、これら2つの空間における[[共分散]]構造をモデル化するための[[潜在変数]]アプローチである。PLSモデルは''Y''空間における最大多次元分散方向を説明する''X''空間における多次元方向を探そうと試みる。PLS回帰は予測因子の行列が観測因子よりも変数の数が多い時、そして''X''の値の間に[[多重共線性]]が存在する時に特に適している。対照的に、標準的な回帰手法はこれらの場合（{{仮リンク|チコノフ正則化|en|Tikhonov regularization|label=正則化されていない限り}}）失敗する。

部分的最小二乗法は、スウェーデンの統計学者{{仮リンク|ヘルマン・ウォルド|en|Herman Wold}}によって発表された。ウォルドはその後息子の{{仮リンク|スヴァンテ・ウォルド|sv|Svante Wold}}と共にこの手法を発展させた。PLSの（スヴァンテ・ウォルドによればより正確な<ref name="wold_2001">{{cite journal |last1=Wold |first1=S |last2=Sjöström |first2=M. |last3=Eriksson |first3=L. |title=PLS-regression: a basic tool of chemometrics |journal=Chemometrics and Intelligent Laboratory Systems |volume=58 |issue=2 |pages=109–130 |year=2001 |doi=10.1016/S0169-7439(01)00155-1 |url=http://www.sciencedirect.com/science/article/pii/S0169743901001551}}</ref>）別称は、「projection to latent structures」（潜在構造への[[射影]]）であるが、多くの分野において「部分的最小二乗法」という用語が未だに優勢である。PLS回帰の最初の応用は社会科学分野でのものだったが、今日、PLS回帰は[[計量化学]]（ケモメトリクス）と関連領域において最も広く使われている。また、[[バイオインフォマティクス]]、感覚計量学、神経科学、人類学でも使われている。

==基礎的モデル==
多変量PLSの一般的基礎的モデルは以下の式で表わされる。
:<math>X = T P^{\top} + E</math>
:<math>Y = U Q^{\top} + F</math>
上式において、<math>X</math>は予測変数の<math>n \times m</math>、<math>Y</math>は応答変数の<math>n \times p</math>行列; <math>T</math>ならびに<math>U</math>はそれぞれ<math>X</math>の射影（Xスコアまたは成分または因子行列）ならびに<math>Y</math>の射影（Yスコア）;  <math>P</math>ならびに<math>Q</math>はそれぞれ<math>m \times l</math>ならびに<math>p \times l</math>直交「負荷量（ローディング）」行列; 行列<math>E</math>および<math>F</math>は誤差項であり、互いに独立で同一の分布に従う確率正規変数であると仮定される。<math>X</math>および<math>Y</math>の分解は、<math>T</math>と<math>U</math>との間の[[共分散]]を最大化するように行われる。

==アルゴリズム==
因子ならびに負荷量行列である<math>T, U, P</math>ならびに<math>Q</math>を推定するための多くのPLSの変法が存在する。それらの多くは、<math>Y = X \tilde{B} + \tilde{B}_0</math>として<math>X</math>と<math>Y</math>との間の線形回帰の推定量を構築する。一部のPLSアルゴリズムは、<math>Y</math>が列ベクトルである場合に対してのみ適切であるが、その他は行列<math>Y</math>の一般的な場合を扱う。アルゴリズムはまた、因子行列<math>T</math>を[[直交行列]]もしくは[[正規直交行列]]として推定するか、あるいは条件を付けないかという点で異なる<ref>
{{cite journal |last1=Lindgren |first1=F |last2=Geladi |first2=P |last3=Wold |first3=S |title=The kernel algorithm for PLS |journal=J. Chemometrics |volume=7 |pages=45–59 |year=1993 |doi=10.1002/cem.1180070104 |url=http://onlinelibrary.wiley.com/doi/10.1002/cem.1180070104/abstract}}</ref><ref>{{cite journal |last1=de Jong |first1=S. |last2=ter Braak |first2=C.J.F. |title=Comments on the PLS kernel algorithm |journal=J. Chemometrics |volume=8 |issue=2 |pages=169–174 |year=1994 |doi=10.1002/cem.1180080208 |url=http://onlinelibrary.wiley.com/doi/10.1002/cem.1180080208/abstract}}</ref><ref>{{cite journal |last1=Dayal |first1=B.S. |last2=MacGregor |first2=J.F. |title=Improved PLS algorithms |journal=J. Chemometrics |volume=11 |issue=1 |pages=73–85 |year=1997 |doi=10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-# |url=http://onlinelibrary.wiley.com/doi/10.1002/%28SICI%291099-128X%28199701%2911:1%3C73::AID-CEM435%3E3.0.CO;2-%23/abstract}}</ref><ref>{{cite journal |last=de Jong |first=S. |title=SIMPLS: an alternative approach to partial least squares regression |journal=Chemometrics and Intelligent Laboratory Systems |volume=18 |pages=251–263 |year=1993 |doi=10.1016/0169-7439(93)85002-X |issue=3 }}</ref><ref>{{cite journal |last1=Rannar |first1=S. |last2=Lindgren |first2=F. |last3=Geladi |first3=P. |last4=Wold |first4=S. |title=A PLS Kernel Algorithm for Data Sets with Many Variables and Fewer Objects. Part 1: Theory and Algorithm |journal=J. Chemometrics |volume=8 |issue=2 |pages=111–125 |year=1994 |doi=10.1002/cem.1180080204 |url=http://onlinelibrary.wiley.com/doi/10.1002/cem.1180080204/abstract}}</ref><ref>{{cite journal |last=Abdi |first=H. |title=Partial least squares regression and projection on latent structure regression (PLS-Regression) |journal=Wiley Interdisciplinary Reviews: Computational Statistics |volume=2 |pages=97–106 |year=2010 |doi=10.1002/wics.51 }}</ref>。最終的な予測値はこれら全ての変法で同じであるが、成分が異なっている。

===PLS1===
PLS1は、Yがベクトルの場合について適切で広く用いられているアルゴリズムである。PLS1は{{mvar|T}}を正規直交行列として推定する。以下に疑似コードを示す（大文字は行列、小文字は上に添字がある場合ベクトル、下に添字がある場合スカラーである）。

#  {{nowrap|'''function''' PLS1(<math>X, y, l</math>)}}
#  {{nowrap|<math>X^{(0)} \gets X</math>}}
#  {{nowrap|<math>w^{(0)} \gets X^T y/||X^Ty||</math>, {{mvar|w}}の初期推定}}
#  {{nowrap|<math>t^{(0)} \gets X w^{(0)}</math> }}
#  {{nowrap|'''for''' <math>k = 0</math> '''to''' {{mvar|l}}}}
#      {{nowrap|<math>t_k \gets {t^{(k)}}^T t^{(k)}</math>（これはスカラー）}}
#      {{nowrap|<math>t^{(k)} \gets t^{(k)} / t_k</math>}}
#      {{nowrap|<math>p^{(k)} \gets {X^{(k)}}^T t^{(k)}</math>}}
#      {{nowrap|<math>q_k \gets {y}^T t^{(k)}</math>（これはスカラー）}}
#      {{nowrap|'''if''' <math>q_k = 0</math>}}
#          {{nowrap|<math>l \gets k</math>, ループから脱出}}
#      {{nowrap|'''if''' <math>k < l</math>}}
#          {{nowrap|<math>X^{(k+1)} \gets X^{(k)} - t_k t^{(k)} {p^{(k)}}^T</math>}}
#          {{nowrap|<math>w^{(k+1)} \gets {X^{(k+1)}}^T y </math>}}
#          {{nowrap|<math>t^{(k+1)} \gets X^{(k+1)}w^{(k+1)}</math>}}
#  {{nowrap|'''end''' '''for'''}}
#  {{nowrap|'''define''' {{mvar|W}} to be the matrix with columns <math>w^{(0)},w^{(1)},...,w^{(l-1)}</math>.}}
#* Do the same to form the {{mvar|P}} matrix and {{mvar|q}} vector.
# {{nowrap|<math>B \gets W {(P^T W)}^{-1} q</math>}}
#  {{nowrap|<math>B_0 \gets q_0 - {P^{(0)}}^T B</math>}}
#  {{nowrap|'''return''' <math>B, B_0</math>}}

このアルゴリズム形式は、入力する {{mvar|X}}および{{mvar|Y}}のセンタリングを必要としない。これはセンタリングがアルゴリズムによって暗黙的に実行されるためである。このアルゴリズムは行列{{mvar|X}}の減次（<math>t_k t^{(k)} {p^{(k)}}^T</math>の減算）を行うが、ベクトル{{mvar|y}}の減次は必要でないため行われない。ユーザ指定の変数{{mvar|l}}は回帰における潜在因子の数の上限である。この数が行列{{mvar|X}}の階数に等しければ、アルゴリズムは{{mvar|B}}および<math>B_0</math>に対する最小二乗回帰推定法に等しい。

==拡張==
2002年、潜在構造に対する直交射影（orthogonal projections to latent structures、OPLS）と呼ばれる新手法が発表された。OPLSでは、連続的変数データが予測情報と無相関の情報に分離される。これによって診断が改善され、解釈のための視覚化がより容易となる。しかしながら、これらの変更はPLSモデルの解釈可能性を改善するだけであり、予測性は改善しない<ref>{{Cite journal
  | last = Trygg
  | first = J
  | last2 = Wold 
  | first2 = S
  | title = Orthogonal Projections to Latent Structures
  | journal = Journal of Chemometrics
  | volume = 16
  | issue = 3
  | pages = 119–128
  | year = 2002
  | url = 
  | doi = 10.1002/cem.695}}
</ref>。L-PLS法は、PLS回帰を3つの連結したデータブロックに拡張する<ref>{{cite journal |last1=Sæbøa |first1=S. |last2=Almøya |first2=T. |last3=Flatbergb |first3=A. |last4=Aastveita |first4=A.H. |last5=Martens |first5=H. |title=LPLS-regression: a method for prediction and classification under the influence of background information on predictor variables |journal=Chemometrics and Intelligent Laboratory Systems |volume=91  |issue=2 |pages=121–132 |year=2008 |doi=10.1016/j.chemolab.2007.10.006 }}</ref> 。同様に、OPLS-DA（Discriminant Analysis; 判別分析）法は、分類やバイオマーカーの研究のように離散変数を扱う時に適用できる。

2015年、部分的最小二乗法はthree-pass regression filter (3PRF) と呼ばれる手順と関連付けられた<ref>{{Cite journal|last=Kelly|first=Bryan|last2=Pruitt|first2=Seth|date=2015-06-01|title=The three-pass regression filter: A new approach to forecasting using many predictors|url=http://www.sciencedirect.com/science/article/pii/S0304407615000354|journal=Journal of Econometrics|series=High Dimensional Problems in Econometrics|volume=186|issue=2|pages=294–316|doi=10.1016/j.jeconom.2015.02.011}}</ref>。もし観察と変数の数が大きいならば、3PRF（とゆえにPLS）は線形潜在因子モデルによって暗示される「最良の」予測について漸近的に正規である。株式市場モデルでは、PLSは運用益とキャッシュフローの成長の正確なサンプル外予測を与えることが示されている<ref>{{Cite journal|last=Kelly|first=Bryan|last2=Pruitt|first2=Seth|date=2013-10-01|title=Market Expectations in the Cross-Section of Present Values|url=http://onlinelibrary.wiley.com/doi/10.1111/jofi.12060/abstract|journal=The Journal of Finance|language=en|volume=68|issue=5|pages=1721–1756|doi=10.1111/jofi.12060|issn=1540-6261}}</ref>。

==ソフトウェア実装==
ほとんどの主要な統計ソフトウェアパッケージがPLS回帰を用意している{{citation needed|date=June 2012}}。

==脚注==
{{Reflist}}

==推薦文献==
*{{cite book |first=R. |last=Kramer |title=Chemometric Techniques for Quantitative Analysis |publisher=Marcel-Dekker |year=1998 |isbn=0-8247-0198-4 }}
*{{cite journal |last1=Frank |first1=Ildiko E. |first2=Jerome H. |last2=Friedman |title=A Statistical View of Some Chemometrics Regression Tools |journal=Technometrics |volume=35 |issue=2 |pages=109–148 |year=1993 |doi=10.1080/00401706.1993.10485033 |url=http://amstat.tandfonline.com/doi/full/10.1080/00401706.1993.10485033}}
*{{cite journal |last1=Haenlein |first1=Michael |first2=Andreas M. |last2=[[アンドレアス・カプラン|Kaplan]] | title=A Beginner's Guide to Partial Least Squares Analysis |journal=Understanding Statistics |volume=3 |issue=4 |pages=283–297| year=2004 |doi=10.1207/s15328031us0304_4 }}
*{{cite journal |last1=Henseler |first1=Joerg |first2=Georg |last2=Fassott | title=Testing Moderating Effects in PLS Path Models. An Illustration of Available Procedures| year=2005 }}
*{{cite journal |last1=Lingjærde |first1=Ole-Christian |first2=Nils |last2=Christophersen | title=Shrinkage Structure of Partial Least Squares |journal=Scandinavian Journal of Statistics |volume=27 |issue=3 |pages=459–473 | year=2000 |doi=10.1111/1467-9469.00201 }}
*{{cite book | last=Tenenhaus |first=Michel | title= La Régression PLS: Théorie et Pratique. Paris: Technip.| year=1998}}
*{{cite journal | last1=Rosipal |first1=Roman |first2=Nicole |last2=Kramer | title=Overview and Recent Advances in Partial Least Squares, in Subspace, Latent Structure and Feature Selection Techniques |pages=34–51 | year=2006}}
*{{cite journal |last=Helland |first=Inge S. |title=PLS regression and statistical models |journal=Scandinavian Journal of Statistics |volume=17 |issue=2 |pages=97–114 |year=1990 |jstor=4616159}}
*{{cite book |authorlink=Herman Wold |last=Wold |first=Herman |chapter=Estimation of principal components and related models by iterative least squares |editor-first=P.R. |editor-last=Krishnaiaah |title=Multivariate Analysis |publisher=Academic Press |location=New York |year=1966 |pages=391–420 }}
*{{cite book |last=Wold |first=Herman |title=The fix-point approach to interdependent systems |publisher=North Holland |location=Amsterdam |year=1981 }}
*{{cite book |last=Wold |first=Herman |chapter=Partial least squares |editor1-first=Samuel |editor1-last=Kotz |editor2-first=Norman L. |editor2-last=Johnson |title=Encyclopedia of statistical sciences |publisher=Wiley |location=New York |year=1985 |pages=581–591 |volume=6}}
*{{cite journal |first1=Svante |last1=Wold |first2=Axel |last2=Ruhe |first3=Herman |last3=Wold |first4=W.J. |last4=Dunn |title=The collinearity problem in linear regression. the partial least squares (PLS) approach to generalized inverses |journal=SIAM Journal on Scientific and Statistical Computing |volume=5 |pages=735–743 |year=1984 |doi=10.1137/0905052 |issue=3 }}
*{{cite journal |last=Garthwaite |first=Paul H. |title=An Interpretation of Partial Least Squares |journal=[[Journal of the American Statistical Association]] |volume=89 |pages=122–7 |year=1994 |jstor=2291207 |doi=10.1080/01621459.1994.10476452 |issue=425}}
*{{cite book |editor1-last=Wang |editor1-first=H. |title=Handbook of Partial Least Squares |year=2010 |isbn=978-3-540-32825-4 }}
*{{cite journal |last1=Stone |first1=M. |last2=Brooks |first2=R.J. |title=Continuum Regression: Cross-Validated Sequentially Constructed Prediction embracing Ordinary Least Squares, Partial Least Squares and Principal Components Regression |journal=[[Journal of the Royal Statistical Society]], Series B |volume=52 |issue=2 |pages=237–269 |year=1990 |jstor=2345437}}
*Wan Mohamad Asyraf  Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.

==関連項目==
*[[特徴抽出]]
*[[データマイニング]]
*[[機械学習]]
*[[回帰分析]]
*[[カノニカル相関]]
*[[デミング回帰]]
*{{仮リンク|多重線形部分空間学習|en|Multilinear subspace learning}}
*[[主成分分析]]
*{{仮リンク|全平方和|en|Total sum of squares}}

==外部リンク==
*[https://sourceforge.net/projects/imdev/ imDEV] free Excel add-in for PLS and PLS-DA
*[http://www.rotman-baycrest.on.ca/pls PLS in Brain Imaging]
*[http://www.vcclab.org/lab/pls on-line PLS] regression (PLSR) at Virtual Computational Chemistry Laboratory
*[http://www.chemometry.com/Research/MVC.html Uncertainty estimation for PLS]
*[http://www.utd.edu/~herve/Abdi-PLSR2007-pretty.pdf A short introduction to PLS regression and its history]

{{Authority control}}

{{DEFAULTSORT:ふふんてきさいしようししようかいき}}
[[Category:回帰分析]]
[[Category:最小二乗法]]