潜在変数のソースを表示

'''潜在変数'''（せんざいへんすう、{{lang-en-short|latent variable}}<ref group="注釈">「隠された」を表す[[ラテン語]]: ''lateo'' から</ref>）は、[[統計学]]において、直接は観察されないが（[[数理モデル]]を通して）、観測（直接測定）された他の変数から推定される変数を意味する。'''観測変数'''（{{lang-en-short|observed variable}}）と対比される。

観測変数を潜在変数の観点から説明することを目的とした数理モデルは、潜在変数モデルと呼ばれる。潜在変数モデルは、[[心理学]]、[[人口統計学]]、[[経済学]]、[[工学]]、[[医学]]、[[物理学]]、[[機械学習]]/[[人工知能]]、[[バイオインフォマティクス]]、[[計量化学|ケモメトリックス]]、[[自然言語処理]]、[[計量経済学]]、[[経営管理論|管理]]、[[社会科学]]など、多くの分野で使用されている。

潜在変数は、現実の側面に対応する場合がある。原理的には測定できるが実際には観測できない状況では、変数に意味があるが観測できないという事実から、「隠れた変数」という用語が一般的に使用される。カテゴリ・行動・精神状態・データ構造などの抽象的な概念に対応する潜在変数では、「仮想変数」または「仮想構成」という用語が用いられることがある。

潜在変数を使用することは、データの次元を減らすのに役立つ。多くの観測可能な変数をモデルに集約して、基礎となる概念を表すことができるため、データを理解しやすくなる。この意味で、それらは科学理論と同様の機能を果たす。同時に、潜在変数は、現実世界の観測可能な（[[人工知能|サブシンボリック]]な）データをモデル化された世界のシンボリックなデータにリンクする。

定式化する際は潜在変数を示すシンボルとして <math>z</math> がしばしば用いられる<ref>"We typically use <math>z</math> to denote such latent variables." Kingma. (2019). ''An Introduction to Variational Autoencoders''. Foundations and Trends in Machine Learning.</ref>。

== 例 ==
[[ファイル:Estimation_of_a_mean_height_curve_for_boys_from_the_Berkeley_Growth_Study_with_and_without_warping.gif|サムネイル|500x500ピクセル|ワープがある場合とない場合のバークレー成長研究からの男の子の平均身長曲線（黒）の推定。ワーピングは、非線形混合効果モデルを使用して年齢を同期された生物学的年齢にマッピングする潜在変数に基づいている。 <ref name="Raket_et_al_20142">{{Cite journal|year=2014|title=A nonlinear mixed-effects model for simultaneous smoothing and registration of functional data|journal=Pattern Recognition Letters|volume=38|pages=1-7|DOI=10.1016/j.patrec.2013.10.018}}</ref>]]

=== 心理学 ===
因子分析法によって作成された潜在変数は、一般に「共有」分散、または変数が一緒に「移動」する程度を表す。相関関係のない変数は、共通[[因子分析|因子モデルに]]基づく潜在構造を生成できない。 <ref>{{Cite book|last=Tabachnick|first=B.G.|last2=Fidell|first2=L.S.|title=Using Multivariate Analysis|publisher=Allyn and Bacon|location=Boston|year=2001|isbn=978-0-321-05677-1}}{{要ページ番号|date=November 2010}}</ref>

* 「[[ビッグファイブ (心理学)|ビッグファイブの性格特性]]」は、[[因子分析]]を使用して推測される
* 外向性<ref name="status">{{Cite journal|last=Borsboom|first=D.|last2=Mellenbergh, G.J.|last3=van Heerden|first3=J.|year=2003|title=The Theoretical Status of Latent Variables|url=http://rhowell.ba.ttu.edu/BorsboomLatentvars2003.pdf|journal=Psychological Review|volume=110|issue=2|pages=203–219|accessdate=2008-04-08|DOI=10.1037/0033-295X.110.2.203|PMID=12747522}}</ref>
* 空間能力
* 知恵 – 知恵を評価するための手段として、知恵に関連するパフォーマンスと潜在変数の測定とがある <ref name="wisdom">{{Cite journal|last=Greene|first=Jeffrey A.|last2=Brown|first2=Scott C.|year=2009|title=The Wisdom Development Scale: Further Validity Investigations|journal=International Journal of Aging and Human Development|volume=68|issue=4|pages=289–320 (at p. 291)|DOI=10.2190/AG.68.4.b|PMID=19711618}}</ref>
* スピアマンの g 、または心理測定学の一般的な知性要因<ref>{{Cite journal|last=Spearman|first=C.|author-link=Charles Spearman|year=1904|title="General Intelligence," Objectively Determined and Measured|journal=The American Journal of Psychology|volume=15|issue=2|pages=201–292|DOI=10.2307/1412107|JSTOR=1412107|PMID=|PMC=}}</ref>

=== 経済 ===
[[経済学]]の分野からの潜在変数の例には[[クオリティ・オブ・ライフ|、生活の質]]、ビジネスの信頼、士気、幸福、保守主義が含まれる。これらの変数はすべて、直接測定できない。しかし、これらの潜在変数を他の観測可能な変数にリンクすると、潜在変数の値は、観測可能な変数の測定値から推測することができる。生活の質は、直接測定できない潜在変数であるため、観察可能な変数を使用して生活の質を推測する。生活の質を測定するための観察可能な変数には、富、雇用、環境、心身の健康、教育、レクリエーションと余暇、および社会的帰属が含まれる。

=== 薬 ===
潜在変数の方法論は、[[医学|医学の]]多くの分野で使用されています。潜在変数アプローチに自然に役立つ問題のクラスは、時間スケール（参加者の年齢や研究ベースラインからの時間など）が研究対象の特性と同期していない縦断的研究です。このような研究では、研究対象の特性と同期する観察されていない時間スケールを、潜在変数を使用して観察された時間スケールの変換としてモデル化できる。この例として、疾患進行モデリングおよび成長のモデリングなどがある。

== 潜在変数モデル ==
'''{{仮リンク|潜在変数モデル|en|Latent_variable_model}}'''（{{lang-en-short|latent variable models}}）は観測変数と潜在変数の[[同時分布]]で表現された[[統計モデル|確率モデル]]の総称である<ref>"a latent variable model <math>p_{\theta}(x, z)</math>" Kingma. (2019). ''An Introduction to Variational Autoencoders''. Foundations and Trends in Machine Learning.</ref>。

潜在変数モデルでは観測変数 <math>x</math> の分布 <math>p^*(x)</math> を潜在変数 <math>z</math> とモデルパラメータ <math>\theta</math> を用いた同時分布 <math>p_{\theta}(x, z)</math> で表現する。このとき同時分布を[[周辺分布|周辺化]]すると以下が成立している：

: <math>p_{\theta}(x) = \int p_{\theta}(x, z) dz</math>

潜在変数に関して[[周辺分布|周辺化]]された[[尤度関数|尤度]] <math>p(x|\theta)</math> と見做せるため、これは <math>\theta</math> の関数として'''周辺尤度'''（{{lang-en-short|marginal likelihood}}）あるいは'''エビデンス'''（{{lang-en-short|model evidence}}）と呼ばれる<ref>"''This is also called the (single datapoint) marginal likelihood or the model evidence, when taken as a function of θ.''" Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>。

モデルの例には潜在変数を含んだ[[ベイジアンネットワーク]]がある。すなわち同時分布の因数分解により[[統計モデル#条件付き確率モデル|条件付き確率モデル]]の積 <math>p_{\theta}(x, z) = p_{\theta}(x|z) p_{\theta}(z)
</math> としてモデル化する<ref>"Perhaps the simplest, and most common, DLVM is one that is specified as factorization" Kingma. (2019). ''An Introduction to Variational Autoencoders''. Foundations and Trends in Machine Learning.</ref>。このとき <math>p_{\theta}(z)</math> は「<math>z</math> の[[事前確率#事前確率分布|事前分布]]」としばしば呼ばれる（観測値で条件付けられていないため ''prior''）<ref>"The distribution <math>p(z)</math> is often called the prior distribution over <math>z</math>, since it is not conditioned on any observations." Kingma. (2019). ''An Introduction to Variational Autoencoders''. Foundations and Trends in Machine Learning.</ref>。

潜在変数モデルのパラメータ推定には課題とそれに対応する手法が存在する。潜在変数はモデル内部に存在する変数であり、その定義から観測値として与えられない。ゆえに同時分布 <math>p_{\theta}(x, z)</math> ではなく周辺尤度 <math>p_\theta(x)</math> を介して最適化することになる。しかし[[最尤推定]]をする場合、周辺化で登場する積分が intractable であるため尤度の解析解も効率のいい推定器も得られない<ref>"''This is due to the integral ...  for computing the marginal likelihood ..., not having an analytic solution or efficient estimator.''" Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>。

[[ベイジアンネットワーク]]でモデル化するとき各条件付き確率モデルは tractable なものを採用するため同時分布は tractable になる。ゆえにベイズの定理より、intractable である原因は周辺尤度 <math>p_\theta(x)</math> および事後分布 <math>p_\theta(z|x)</math> にあることがわかる<ref>"''The intractability of pθ(x), is related to the intractability of the posterior distribution pθ(z|x). ... Since pθ(x, z) is tractable to compute, a tractable marginal likelihood pθ(x) leads to a tractable posterior pθ(z|x), and vice versa. Both are intractable in DLVMs.''" Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>：

: <math>p_{\theta}(z|x) = \frac{p_{\theta}(x, z)}{p_{\theta}(x)}</math>
これを解決する手法には[[EMアルゴリズム]]、[[変分オートエンコーダー#オートエンコーディング変分ベイズアルゴリズムの概要|オートエンコーディング変分ベイズアルゴリズム]]などがある。

=== 深層潜在変数モデル ===
'''深層潜在変数モデル'''（{{lang-en-short|Deep Latent Variable Models}}、'''DLVM'''）は[[ベイジアンネットワーク]]の条件付け入力を[[ニューラルネットワーク]]で変換する潜在変数モデルの一種である<ref>"We use the term deep latent variable model (DLVM) to denote a latent variable model pθ(x, z) whose distributions are parameterized by neural networks." Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>。その同時分布は以下の式で表現される：

: <math>p_{\theta}(z_0=x, z_1, ..., z_N) 
= \prod_{i=0}^N p_\theta(z_i | pa(z_i))
= \prod_{i=0}^N p_\theta(z_i; \ \eta = NeuralNet_\theta(pa(z_i)))
</math>

DLVMでは万能近似能力をもつニューラルネットワークを用いて潜在変数を変換するため、各条件付き確率モデル <math>p_\theta(z_i | pa(z_i))
</math> に単純な分布を用いても複雑な[[周辺分布]] <math>p_\theta(x)
</math> を表現できる<ref>"One important advantage of DLVMs, is that even when each factor (prior or conditional distribution) in the directed model is relatively simple (such as conditional Gaussian), the marginal distribution pθ(x) can be very complex"</ref>。

DLVMは潜在変数モデルであるため、パラメータ推定に単純な[[最尤推定]]を適用できない。DLVMの学習を可能にする手法の1つに[[変分オートエンコーダー]]が存在する。

== 潜在変数の推測 ==
潜在変数を利用し、潜在変数の存在下で推論を可能にするさまざまなモデルクラスと方法論が存在する。次のようなモデルがある：

* [[混合モデル|線形混合効果モデル]]と非線形混合効果モデル
* [[隠れマルコフモデル]]
* [[因子分析]]

次のような分析や推論がある：

* [[主成分分析]]
* [[部分的最小二乗回帰|部分最小二乗回帰]]
* [[潜在意味解析]]と確率的潜在意味解析
* [[EMアルゴリズム]]
* [[メトロポリス・ヘイスティングス法|メトロポリス-ヘイスティングスアルゴリズム]]

=== ベイズのアルゴリズムと方法 ===
[[ベイズ統計学|ベイズ統計]]は、潜在変数を推測するためによく使用される。

* 潜在的ディリクレの割り当て
* [[中華料理店過程|中華料理店プロセス]]は、潜在的なカテゴリへのオブジェクトの割り当てに関する事前分布を提供するためによく使用される。
* インドのビュッフェプロセスは、オブジェクトへの潜在的なバイナリ機能の割り当てに関する事前分布を提供するためによく使用される。

== 関連項目 ==

== 脚注 ==
{{脚注ヘルプ}}
=== 注釈 ===
{{Notelist}}
=== 出典 ===
{{Reflist}}

== 参考文献 ==

* {{Cite book|last=Kmenta|first=Jan|author-link=Jan Kmenta|chapter=Latent Variables|pages=[https://archive.org/details/elementsofeconom0003kmen/page/581 581–587]|title=Elements of Econometrics|location=New York|publisher=Macmillan|year=1986|edition=Second|isbn=978-0-02-365070-3|chapterurl=https://books.google.com/books?id=Bxq7AAAAIAAJ&pg=PA581|url=https://archive.org/details/elementsofeconom0003kmen/page/581}}
{{デフォルトソート:せんさい}}
[[Category:社会調査]]
[[Category:ベイジアンネットワーク]]
[[Category:計量経済学モデル]]
[[Category:潜在変数モデル]]
[[Category:社会科学]]