生成的モデルのソースを表示

{{About|統計的分類の文脈における生成モデル<!-- 意図的に「生成モデル」と表記し、検索でヒットしやすくしました -->|マルコフ決定過程の生成モデル|[[:en:Markov decision process#Simulator models]]|コンピュータグラフィックスにおける生成モデル言語（GML）と生成型コンピュータプログラミング|{{ill2|生成的モデリング言語|en|Generative Modelling Language}}|生成AI|[[生成的人工知能]]}}

[[統計的分類]]では、'''生成的'''アプローチと'''識別的'''アプローチの2つの主要な手法がある。これらのアプローチでは、{{Ill2|分類基準|en|Classification rule|label=分類指標}}を計算するために異なる方法論を用いており、その[[統計モデル|統計的モデリング]]の程度もさまざまである。使用される用語は一貫していないが{{efn|{{harvnb|Ng|Jordan|2002}}、{{harvnb|Jebara|2004}}、{{harvnb|Mitchell|2015}}の3つの代表的な資料では、異なる区分けや定義が示されている。}}、{{harvtxt|Jebara|2004}}によれば、主に3つの種類に分けられる。

# '''生成的モデル'''（generative model）は、[[潜在変数|観測可能変数]]''X'' と{{Ill2|目的変数|en|Target variable}}''Y'' の[[同時確率分布]] <math>P(X, Y)</math> に基づく統計モデルである<ref name="ngjordan2002generative">{{harvtxt|Ng|Jordan|2002}}: "Generative classifiers learn a model of the joint probability, <math>p(x, y)</math>, of the inputs ''x'' and the label ''y'', and make their predictions by using Bayes rules to calculate <math>p(y\mid x)</math>, and then picking the most likely label ''y''.</ref>。
# '''[[識別的モデル]]'''（discriminative model）は、観測値 ''x'' が与えられたときの、目的変数 ''Y'' の[[条件付き確率]] <math>P(Y\mid X = x)</math> に基づく統計モデルである。
# さらに、確率モデルを使用せずに計算される分類指標も、漠然と「識別的（discriminative）」と呼ばれる。

この最後の2つの種類は一貫して区別されておらず<ref>{{harvnb|Jebara|2004|loc=2.4 Discriminative Learning}}: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."</ref>、{{harvtxt|Jebara|2004}}はこの3種類を生成的学習（''generative learning''）、条件付き学習（''conditional learning''）、識別的学習（''discriminative learning''）と呼んでいるが、{{harvtxt|Ng|Jordan|2002}}は後者の2つを区別せずに、'''生成的分類指標'''（generative classifiers、同時分布）と'''識別的分類指標'''（discriminative classifiers、条件分布または無分布）と2つしか区別しない<ref>{{harvnb|Ng|Jordan|2002}}: "Discriminative classifiers model the posterior <math>p(y|x)</math> directly, or learn a direct map from inputs ''x'' to the class labels."</ref>。同様に、生成的モデルに基づく分類器を'''生成的分類器'''（generative classifier）、識別的モデルに基づく分類器を'''識別的分類器'''（discriminative classifier）と呼ぶが、後者はモデルに基づかない分類器も指すこともある。

それぞれの標準的な例は次のとおりで、すべて[[線形分類器]]である。

* 生成的分類指標:
** [[単純ベイズ分類器]]、および
** {{Ill2|線形識別解析|en|Linear discriminant analysis}}
* 識別的モデル:
** [[ロジスティック回帰]]

分類に適用する場合、その目的は観測値 ''x'' からラベル ''y'' （またはラベルに対する確率分布）を決定することである。そのための3種類の手法があり、1番目は確率分布を用いずに直接計算する方法（''distribution-free classifier、''分布によらない分類器）、2番目は観測値からラベルの確率 <math>P(Y|X=x)</math> を推定し、それを基に分類する方法（''discriminative model、'''''識別的モデル'''）、3番目は同時分布 <math>P(X, Y)</math> を推定し、そこから条件付き確率 <math>P(Y|X=x)</math> を計算し、それを基に分類する方法（''generative model、'''''生成的モデル'''）である。これらの手法は、ますます間接的ではあるが、ますます確率的であり、より多くのドメイン知識と確率理論を使用することができるようになる。実際には、実際の問題に応じてさまざまな手法が選択され、複数の方法の長所を組み合わせたハイブリッド法も可能である。

== 定義 ==
モデルを分類するもう一つの方法は、次の対称的な定義である。

* '''生成的モデル'''とは、目的値 ''y'' が与えられたときの、観測可能変数 ''X'' の条件付き確率を表すモデルであり、記号的には <math>P(X\mid Y = y)</math> と表される<ref name="mitchell2015generative">{{harvnb|Mitchell|2015}}: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function <math>f\colon X \to Y</math>, or equivalently, <math>P(Y\mid X)</math>, we use the training data to learn estimates of <math>P(X\mid Y)</math> and <math>P(Y)</math>. New ''X'' examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a ''generative'' classifier, because we can view the distribution <math>P(X\mid Y)</math> as describing how to generate random instances ''X'' conditioned on the target attribute ''Y''.</ref>。
* '''識別的モデル'''とは、観測値 ''x'' が与えられたときの、目的変数 ''Y'' の条件付き確率を表すモデルであり、記号的には <math>P(Y\mid X = x)</math> と表される<ref name="mitchell2015discriminative">{{harvnb|Mitchell|2015}}: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate <math>P(Y\mid X)</math>, in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a ''discriminative'' classifier because we can view the distribution <math>P(Y\mid X)</math> as directly discriminating the value of the target value ''Y'' for any given instance ''X''</ref>。

正確な定義はともかく、この用語は構造上<!-- constitutional -->のものである。生成的モデルは、観測値と目的値 <math>(x, y)</math> または目的値 ''y'' が与えられたときの観測値 ''x'' のいずれかの、ランダムなインスタンス（[[結果 (確率論)|結果]]）を「生成」することができる。一方、識別的モデル、または識別的分類器（モデルなし）は、観測値 ''x'' が与えられたとき、目標変数 ''Y'' の値を「識別」することができる<ref name="mitchell2015generative" />。「識別」（[[wikt:discriminate|discriminate]]）と「分類」（[[wikt:classify|classify]]）の違いは微妙で、この2つの用語しばしば同じ意味で使われることがある。したがって「識別」と「分類」が等価である場合、「識別的分類器」という用語は[[冗語]]になる。

また「生成的モデル」という用語は、入力変数の潜在的なサンプルの確率分布に直接関係しない方法で出力変数のインスタンスを生成するモデルを表すこともある。[[敵対的生成ネットワーク]]は、これに属する生成的モデルの例であり、主に潜在的な入力に対する特定の出力の類似性に基づいて判断される。しかしこのようなモデルは分類器ではない。

=== モデル間の関係 ===
分類へ関していえば、観測可能変数 ''X'' は多くの場合{{Ill2|連続変数|en|Continuous variable|label=}}で、目的 ''Y'' は一般的にラベルの有限集合からなる{{Ill2|離散変数|en|Discrete variable}}であり、また、条件付き確率 <math>P(Y\mid X)</math> は、 ''X'' を入力、''Y'' を出力とする（[[決定論|非決定論]]的な）{{Ill2|関数近似|en|Function approximation|label=目的関数}} <math>f\colon X \to Y</math> と解釈することもできる。

ラベルの有限集合があるとき、「生成的モデル」の2つの定義は密接に関連している。条件付き分布 <math>P(X\mid Y = y)</math> のモデルは、各ラベルの分布を表し、同時分布のモデルは、ラベル値の分布 <math>P(Y)</math> と、ラベルを与えられた観測値の分布 <math>P(X\mid Y)</math> のモデルと等価で、記号的には <math>P(X, Y) = P(X\mid Y)P(Y)</math> である。したがって、同時確率分布のモデルは、ラベル分布のモデル（ただしラベルの相対的な頻度を含まない）よりも情報量が多いが、比較的小さな違いであり、両者が常に区別されているわけではない。

同時確率分布のモデル <math>P(X, Y)</math> があれば、個々の変数の分布は[[周辺分布]] <math>P(X) = \sum_y P(X , Y = y)</math> と <math>P(Y) = \int_x P(Y, X = x)</math> として計算できる（''X'' は連続、したがって積分、 ''Y'' は離散、したがって累積和）。どちらの条件付き分布でも、[[条件付き確率]]の定義より求めることができる：<math>P(X\mid Y)=P(X, Y)/P(Y)</math> と <math>P(Y\mid X)=P(X, Y)/P(X)</math>。

ある条件付き確率のモデルと、変数 ''X'' と ''Y'' の推定[[確率分布]] <math>P(X)</math> と <math>P(Y)</math> があれば、[[ベイズの定理]]を使用して反対の条件付き確率を推定することができる: <math>P(X\mid Y)P(Y) = P(Y\mid X)P(X)</math>。

たとえば、<math>P(X\mid Y)</math> の生成的モデルがあれば、

: <math>P(Y\mid X) = P(X\mid Y)P(Y)/P(X)</math>

を推定でき、<math>P(Y\mid X)</math> の識別的モデルがあれば、

: <math>P(X\mid Y) = P(Y\mid X)P(X)/P(Y)</math>

を推定できる。

なお、[[ベイズの定理]]（一方の条件付き確率を他方の条件付き確率で計算する）と[[条件付き確率]]の定義（条件付き確率を同時分布で計算する）は混同されがちである。

== 識別的分類器との対比 ==
生成的アルゴリズムは、信号を分類するために、データがどのように生成されたかをモデル化する。生成の仮定を考慮して、どのカテゴリがこの信号を生成する可能性が最も高いか、という問いを投げかける。これに対して、識別的アルゴリズムは、データがどのように生成されたかに注目せず、与えられた信号を単純に分類する。つまり、識別的アルゴリズムはデータから直接 <math>p(y|x)</math> を学習して、その後データを分類しようとする。一方、生成的アルゴリズムは <math>p(x,y)</math> を学習し、それを後で <math>p(y|x)</math> に変換してデータを分類しようとする。生成的アルゴリズムの利点の1つは、<math>p(x,y)</math> を使用して既存のデータに類似した新しいデータを生成できることである。しかし、一部の識別的アルゴリズムは、分類タスクにおいて、一部の生成的アルゴリズムよりも優れた性能を発揮することが示されている<ref>{{harvnb|Ng|Jordan|2002}}</ref>。

識別的モデルは観測変数の分布をモデル化する必要がない代わりに、観測変数と対象変数の間の複雑な関係を表現することはできない。しかし、一般的には、[[分類 (統計学)|分類]]や[[回帰分析|回帰]]の作業において、必ずしも生成的モデルより優れているとは限らない。全体として、この2種類の手法は補完的なもの、あるいは同じ手順の異なる見方として捉えられている<ref>{{citation|title=Bayesian statistics 8: proceedings of the eighth Valencia International Meeting, June 2-6, 2006|last1=Bishop|first1=C. M.|last2=Lasserre|first2=J.|date=24 September 2007|url={{google books |plainurl=y |id=Vh7vAAAAMAAJ|page=3}}|publisher=Oxford University Press|editor-last=Bernardo|editor-first=J. M.|pages=3–23|contribution=Generative or Discriminative? getting the best of both worlds|isbn=978-0-19-921465-5}}</ref>。

== 深層生成モデル ==
深層学習の台頭とともに、生成的モデルと深層ニューラルネットワークを組み合わせた、深層生成モデル（deep generative models、DGM）と呼ばれる新しい手法のファミリーが出現している<ref name="auto1">{{Cite web |url=https://www.microsoft.com/en-us/research/blog/a-deep-generative-model-trifecta-three-advances-that-work-towards-harnessing-large-scale-power/ |title=Scaling up—researchers advance large-scale deep generative models |website=[[Microsoft]] |date=April 9, 2020 |access-date=2020-07-24}}</ref><ref name="auto">{{Cite web |url=https://openai.com/blog/generative-models/ |title=Generative Models |date=June 16, 2016 |website=OpenAI |access-date=2020-05-19}}</ref><ref name="auto2">{{cite book |last=Tomczak |first=Jakub |date=2022 |title=Deep Generative Modeling |url=https://link.springer.com/book/10.1007/978-3-030-93158-2 |location=Cham |publisher=Springer |page=197 |doi=10.1007/978-3-030-93158-2 |isbn=978-3-030-93157-5 |s2cid=246946335}}</ref>。これらのモデルの性能は、通常、ニューラルネットワークの規模と、学習データの規模の両方を拡大することで向上する<ref>{{Cite arXiv|eprint=2001.08361|class=stat.ML|last1=Kaplan|first1=Jared|last2=McCandlish|first2=Sam|title=Scaling Laws for Neural Language Models|last3=Henighan|first3=Tom|last4=Brown|first4=Tom B.|last5=Chess|first5=Benjamin|last6=Child|first6=Rewon|last7=Gray|first7=Scott|last8=Radford|first8=Alec|last9=Wu|first9=Jeffrey|last10=Amodei|first10=Dario|year=2020}}</ref>。

一般的なDGMには、[[変分オートエンコーダー]]（VAE）、[[敵対的生成ネットワーク]]（GAN）、自己回帰モデルなどがある。最近では、非常に大規模な深層生成モデルを構築する傾向が見られる<ref name="auto1" />。たとえば、GPT-3やその前身であるGPT-2は、数十億のパラメータを含む自己回帰ニューラル言語モデルであり<ref>{{Cite web |url=https://openai.com/blog/better-language-models/ |title=Better Language Models and Their Implications |date=February 14, 2019 |website=OpenAI |access-date=2020-07-24}}</ref>、画像生成に用いられるBigGAN<ref>{{Cite arXiv|eprint=1809.11096|class=cs.LG|last1=Brock|first1=Andrew|last2=Donahue|first2=Jeff|title=Large Scale GAN Training for High Fidelity Natural Image Synthesis|last3=Simonyan|first3=Karen|year=2018}}</ref>やVQ-VAE<ref>{{Cite arXiv|eprint=1906.00446|class=cs.LG|last1=Razavi|first1=Ali|last2=van den Oord|first2=Aaron|title=Generating Diverse High-Fidelity Images with VQ-VAE-2|last3=Vinyals|first3=Oriol|year=2019}}</ref>は数億のパラメータを持ち、Jukeboxは数十億のパラメータを持つ音楽オーディオ用の非常に大きな生成的モデルである<ref>{{Cite web |url=https://openai.com/blog/jukebox/ |title=Jukebox |date=April 30, 2020 |website=OpenAI |access-date=2020-05-19}}</ref>。

== 種類 ==

=== 生成的モデル ===
生成的モデルには次のような種類がある。

* {{Ill2|ガウス混合モデル|en|Gaussian mixture model}}（およびその他の{{Ill2|混合分布モデル|en|Mixture model}}）
* [[隠れマルコフモデル]]
* [[確率文脈自由文法]]
* [[ベイジアンネットワーク]]（例：[[単純ベイズ分類器|単純ベイズ]]、[[自己回帰モデル]]）
* [[AODE|平均1依存性推定量]]（AODE）
* {{Ill2|潜在的ディリクレ配分法|en|Latent Dirichlet allocation}}
* [[ボルツマンマシン]]（例：{{Ill2|制限付きボルツマンマシン|en|Restricted Boltzmann machine}}、{{Ill2|深層信念ネットワーク|en|Deep belief network}}）
* [[変分オートエンコーダー]]
* [[敵対的生成ネットワーク]]
* [[フローベース生成モデル]]
* {{Ill2|エネルギーベースモデル|en|Energy based model}}
* [[拡散モデル]]

観測データが生成的モデルから実際にサンプリングされたものであれば、[[最尤推定|データの尤度を最大化]]するために生成的モデルのパラメータを適合させるのが一般的な方法である。しかし、ほとんどの統計モデルは'''''真の分布'''''に対する近似に過ぎないため、モデルが他の変数の既知の値を条件として変数のサブセットについて推論するのであれば、近似は必要以上の仮定をしている主張することができる。このような場合、[[識別的モデル]]（以下に列挙）を使用して条件付き密度関数を直接モデル化する方がより正確な可能性があるが、それぞれのケースでどのアプローチが最適かは、最終的にはアプリケーション固有の詳細に基づいて決定される。

=== 識別的モデル ===

* [[K近傍法|k-最近傍]]アルゴリズム
* [[ロジスティック回帰]]
* [[サポートベクターマシン]]
* [[決定木学習]]
* [[ランダムフォレスト]]
* {{Ill2|最大エントロピー・マルコフ・モデル|en|Maximum-entropy Markov model}}
* [[条件付き確率場]]

== 例 ==

=== 簡単な例 ===
入力データを <math>x \in \{1, 2\}</math> 、<math>x</math> のラベル集合を <math>y \in \{0, 1\}</math> とし、次の4つのデータポイントがあるシナリオを考える：<math>(x,y) = \{(1,0), (1,1), (2,0), (2,0)\}</math>

経験的尺度<!-- empirical measure -->から同時確率分布 <math>p(x,y)</math> を推定すると、次のようになる。
{| class="wikitable"
!
!<math>y=0
</math>
!<math>y=1
</math>
|-
|<math>x=1
</math>
|<math>1/4
</math>
|<math>1/4
</math>
|-
|<math>x=2
</math>
|<math>2/4
</math>
|<math>0
</math>
|}

また、条件付き確率分布 <math>p(y|x)</math> は次のようになる。
{| class="wikitable"
!
!<math>y=0
</math>
!<math>y=1
</math>
|-
|<math>x=1
</math>
|<math>1/2

</math>
|<math>1/2
</math>
|-
|<math>x=2
</math>
|<math>1
</math>
|<math>0
</math>
|}

=== テキスト生成 ===
{{harvtxt|Shannon|1948}}は、英語の単語対の頻度表を使用して、「represent and speedily is an good」で始まる文章を生成する例を示した。この文は文法的に正しい英語ではなかったが、表を単語対から単語三連符へと移行するにつれて、より正しい英語に近くなっていった。

== 参考項目 ==
{{Portal|数学}}

* [[識別的モデル]] - 分類や回帰に用いられるロジスティックモデルの一種。観測可能なデータを用いて決定境界を設定する。
* [[グラフィカルモデル]] - 確率変数間の条件付き依存構造をグラフで表現した確率モデル。
* [[生成的人工知能]] - プロンプトに応じてコンテンツを生成することができる人工知能シスステム。

== 注釈 ==
{{notelist}}

== 脚注 ==
{{reflist}}

== 外部リンク ==
{{refbegin}}
* {{cite journal|last=Shannon|first=C. E.|year=1948|title=A Mathematical Theory of Communication|url=https://www.tnt.uni-hannover.de/edu/vorlesungen/InfoTheor/download/shannon1948.pdf|journal=[[:en:Bell System Technical Journal|Bell System Technical Journal]]|volume=27|issue=July, October|pages=379–423, 623–656|doi=10.1002/j.1538-7305.1948.tb01338.x|authorlink=Claude Shannon|hdl=10338.dmlcz/101429|hdl-access=free}}
* {{cite book |authorlink=Tom M. Mitchell |first=Tom M. |last=Mitchell |title=Machine Learning |year=2015 |chapter=3. Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression |chapter-url=https://www.cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf}}
* {{cite journal|last1=Ng|first1=Andrew Y.|last2=Jordan|first2=Michael I.|year=2002|title=On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes.|url=http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf|journal=Advances in Neural Information Processing Systems|authorlink1=Andrew Ng|authorlink2=Michael I. Jordan}}
* {{cite book |first=Tony |last=Jebara |title=Machine Learning: Discriminative and Generative |series=The Springer International Series in Engineering and Computer Science |publisher=Kluwer Academic (Springer) |year=2004 |isbn=978-1-4020-7647-3 |url=https://www.springer.com/us/book/9781402076473}}
* {{cite thesis|type=PhD|last=Jebara|first=Tony|date=2002|title=Discriminative, generative, and imitative learning|publisher=[[:en:Massachusetts Institute of Technology|Massachusetts Institute of Technology]]|hdl=1721.1/8323}}, ([https://www.cs.columbia.edu/~jebara/papers/jebara4.pdf mirror], [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.7.513&rep=rep1&type=pdf mirror]), published as book (above)
* Code accompanying the book ({{cite book |last=Tomczak |first=Jakub |date=2022 |title=Deep Generative Modeling |url=https://link.springer.com/book/10.1007/978-3-030-93158-2 |location=Cham |publisher=Springer |page=197 |doi=10.1007/978-3-030-93158-2 |isbn=978-3-030-93157-5 |s2cid=246946335}}): {{cite web |title=Introductory examples |website=[[:en:GitHub|GitHub]] |url=https://github.com/jmtomczak/intro_dgm |access-date=October 21, 2022}}
{{refend}}

{{Statistics|state=expanded}}
[[Category:機械学習]]
[[Category:統計モデル]]
[[Category:確率モデル]]
[[Category:数学に関する記事]]
{{DEFAULTSORT:せいせいてきもてる}}