ベイジアンネットワークのソースを表示

{{ベイズ統計学}}
'''ベイジアンネットワーク'''（{{lang-en-short|Bayesian network}}）は、[[因果関係]]を[[確率]]により記述する[[グラフィカルモデル]]の1つで、複雑な因果関係の[[推論]]を[[有向非巡回グラフ]]構造により表すとともに、個々の変数の関係を条件つき確率で表す確率推論のモデルである。ネットワークとは重み付けグラフのこと。

== 定義 ==
[[確率分布]]は[[確率変数]]をノード、変数間関係をリンクとする[[グラフ (データ構造)|グラフ]]/ネットワークで表現できる<ref>"A graph comprises nodes ... connected by links ... . In a probabilistic graphical model, each node represents a random variable ... and the links express probabilistic relationships between these variables." PRML. p.360.</ref><ref>ネットワーク（重み付けグラフ）</ref>（確率的[[グラフィカルモデル]]<ref>"diagrammatic representations of probability distributions, called probabilistic graphical models." PRML p.359</ref>）。このうちリンクが向きを持ち依存関係が巡回しないもの（[[有向非巡回グラフ]]）は次の名称で呼ばれる<ref>"''Directed graphical models are a type of probabilistic models where all the variables are topologically organized into a directed acyclic graph.''" Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>。

* '''ベイジアンネットワーク'''（{{lang-en-short|Bayesian networks}}）<ref name=":0">"Bayesian networks, also known as directed graphical models" PRML. p.360.</ref>
* '''有向グラフィカルモデル'''（{{lang-en-short|directed graphical models}}）<ref name=":0" />
* '''有向確率モデル'''（{{lang-en-short|directed probabilistic models}}）<ref name=":1">"''We work with directed probabilistic models, also called directed probabilistic graphical models (PGMs), or Bayesian networks.''" Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>
* '''有向確率的グラフィカルモデル'''（{{lang-en-short|directed probabilistic graphical models}}）<ref name=":1" />
その[[有向非巡回グラフ|有向非巡回性]]から確率変数群の同時分布は次のように表現できる：

: <math>P(x_1, ..., x_N)=\prod_{i=1}^N P(x_i | parent(x_i))</math>
すなわち同時分布が親ノードで[[条件付き確率|条件付けられた確率]]の積として記述できる<ref>"''The joint distribution over the variables of such models factorizes as a product of prior and conditional distributions''" Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>。

== 特徴 ==
確率分布を有向グラフと捉えることにより、グラフを用いた解析が可能になる。また有向グラフであるため変数間の因果関係をリンクで表現できる<ref>逆（向きから因果関係を決定すること）は一般に成り立たない。</ref>。ベイジアンネットワーク上で確率推論を行うことで、複雑でかつ不確実な事象の起こりやすさやその可能性を予測することができる。これまで蓄積された情報をもとに、起こりうる確率をそれぞれの場合について求め、それらを起こる経路に従って計算することで、複雑な経路を伴った因果関係の発生確率を定量的に表すことが可能となる。

ベイジアンネットワークは[[有向非巡回グラフ|有向非巡回構造]]を仮定したモデルであり、（この構造を必要としない）同時分布を直接モデル化するのではなく、[[統計モデル#条件付き確率モデル|条件付き確率モデル]]の組み合わせで表現される場合が多い。

== モデルの簡単な例 ==
確率変数A、B、Cの間の条件付依存性をA→C、B→Cと表し、リンクの元となる親ノードをAやB、リンクの先にくる子ノードをCとする時、Aが起こる確率をP(A)、Aが既に起こったときにCとなる条件付確率をP(C|A)のように表すこととすると、Cが起こりうる確率は、P(A,B,C)=P(C|A,B)P(A)P(B)となる。

色々な因果関係に対し、グラフ上の各ノードに対応する確率変数として表現する方法やルールが定められている。複雑な系においても、各ノードにおける条件付確率表や[[ベイズの定理]]等を用いながら、それぞれの確率を計算でき、確率的な依存関係をモデル化できる。

== 応用例 ==
医者の診断<ref>シュピーゲルハルター他、1989年</ref>、イメージ認識<ref>Booker、Hota、1986年</ref>、言語認識<ref>Charniak、Goldman、1989年</ref>、選択アルゴリズム<ref>ハンソン、マイヤー、1989年</ref> など、1980年代から各種の応用例が報告されている。

== 最適化 ==
分布 <math>p^*(\cdot)
</math> をベイジアンネットワークによってモデル化するための様々な最適化手法が存在する。

=== 全観測モデル ===
全ての変数が観測変数である<ref>''Fully Observed Models'' という</ref>ベイジアンネットワークでは[[最尤推定]]が利用できる<ref>"If all variables in the directed graphical model are observed in the data, then we can compute and differentiate the log-probability of the data under the model, leading to relatively straightforward optimization." Kingma. (2019). ''[[arxiv:1906.02691|An Introduction to Variational Autoencoders]]''. Foundations and Trends in Machine Learning.</ref>。

まず、このモデルは次の式で表現される：

<math>p_{\theta}(x_1, ..., x_N)=\prod_{i=1}^N p_{\theta}(x_i | parent(x_i))</math>

最尤推定の目標関数である対数[[尤度関数|尤度]]を考えると、

<math>\log p_{\theta}(x_1, ..., x_N)
=\sum_{i=1}^N \log p_{\theta}(x_i | parent(x_i))</math>

すなわち条件付き確率分布の対数の和が対数尤度となる。

前提より全ての変数が観測変数であるため、<math>p^*(\cdot)
</math> からサンプリングされた標本を用いて全ての条件付き確率分布値が計算できる。ゆえに対数と和で対数尤度が計算可能となり、分布が微分可能であれば[[勾配降下法]]により <math>\theta
</math> の最適化が実現する。

=== 潜在変数モデル ===
{{See also|潜在変数#潜在変数モデル}}ベイジアンネットワークを採用した潜在変数モデルの場合、全観測モデルの場合と異なり最適化は容易でない。

== 歴史 ==
[[ジューディア・パール]]が[[1985年]]に命名した<ref>{{Cite journal|last=Pearl|first=Judea|month=8|year=1985|title=Bayesian Networks: a Model of Self-Activated Memory for Evidential Reasoning|url=http://ftp.cs.ucla.edu/pub/stat_ser/r43-1985.pdf|journal=Proceedings, Cognitive Science Society|pages=329-334}}</ref>。ジューディア・パールはこの研究の功績により[[チューリング賞]]を受賞した。
[[人工知能]]の分野では、ベイジアンネットワークを確率推論アルゴリズムとして1980年頃から研究が進められ、既に長い研究と実用化の歴史がある。

== 関連書籍 ==
* {{Cite book ja-jp
|author = ジューディア・パール
|title = 統計的因果推論 -モデル・推論・推測
|publisher = [[共立出版]]
|isbn= 978-4-320-01877-8
|year = 2009年3月1日
}}
** 原著は Judia Pearl: ''Probabilistic Reasoning in Intelligent Systems'', Morgan Kaufmann, ISBN 978-1-55860479-7 (1988).
* 鈴木譲：「ベイジアンネットワーク入門：確率的知識情報処理の基礎」、培風館、ISBN 978-4-563-01575-6 (2009年7月15日)。
* 植野真臣：「ベイジアンネットワーク」、コロナ社、ISBN 978-4-339-06103-1 (2013年7月30日)。

==脚注==
{{reflist}}

==関連項目==
* [[グラフィカルモデル]]
**ベイジアンネットワーク: 確率的グラフィカルモデルのうち[[有向非巡回グラフ]]を用いたもの
**{{仮リンク|マルコフ・ランダム・フィールド|en|Markov random field|label=マルコフネットワーク}}<ref>{{lang-en-short|Markov network}}</ref>: 確率的グラフィカルモデルのうち[[無向グラフ]]を用いたもの
*[[確率伝搬法]]
* [[ベイズ確率]]
* [[ベイズ推定]]

{{統計学}}

{{DEFAULTSORT:へいしあんねつとわく}}
[[Category:確率論]]
[[Category:ベイジアンネットワーク|*]]
[[Category:因果推論]]
[[Category:トーマス・ベイズ]]
[[Category:数学のエポニム]]
[[Category:数学に関する記事]]