条件付き独立のソースを表示

{{出典の明記|date=2022年3月}}

'''条件付き独立'''（じょうけんつきどくりつ、{{lang-en|conditional independence}}）は、[[確率論]]において、ある仮説の確からしさを評価するときに、ある観測が無関係または冗長である場合をいう。

条件付き独立は通常、[[条件付き確率]]の観点から定式化される。情報のない観測が与えられた場合の仮説の確率が、情報のない場合の確率と等しいという特殊な場合である。仮説<math>A</math>、観測 <math>B</math>、観測 <math>C</math> を用いて、条件付き独立性は <math>P(A \mid B,\,C) = P(A \mid C)</math> として表現できる。ここで、<math>P(A \mid B,\,C)</math> は観測 <math>B</math> と観測 <math>C</math> が与えられた下での仮説 <math>A</math> の確率である。観測 <math>C</math> の下で、観測 <math>B</math> は仮説 <math>A</math> の確からしさについて何ら貢献しない。このとき、<math>C</math> の下で <math>A</math> と <math>B</math> は'''条件付き独立'''であると表現し、<math>A \perp\!\!\!\perp B \mid C</math> と表記する。条件付き独立性の概念は、統計的推論のグラフベースの理論に不可欠である。

== 事象の条件付き独立 ==
事象 <math>C</math> の下で事象 <math>A</math> と事象 <math>B</math> が'''条件付き独立'''であるとは、<math>P(C) > 0</math> に加えて次式が成立することと同値である。
: <math>P(A \mid B,\,C) = P(A \mid C)</math>

これは、しばしば次のように表現される。
: <math>A \perp\!\!\!\perp B \mid C</math>

条件付き独立は次のように表すこともできる。
: <math>P(A,\,B \mid C) = P(A \mid C)\,P(B \mid C)</math>

ここで、<math>P(A,\,B \mid C)</math> は事象 <math>C</math> の下で事象 <math>A</math> と事象 <math>B</math> がともに成立する確率である。

=== 定義の同値性の証明 ===
[[条件付き確率]]の定義から、

: <math>\begin{align}
&P(A,\,B \mid C) = P(A \mid C)\,P(B\mid C) \\
&\iff \frac{P(A,\,B,\,C)}{P(C)} = \ \frac{P(A,\,C)}{P(C)} \, \frac{P(B,\,C)}{P(C)} \\
&\iff \frac{P(A,\,B,\,C)}{P(B,\,C)}= \frac{P(A,\,C)}{P(C)} \\
&\iff P(A \mid B,\,C) = P(A \mid C)
\end{align}
</math>

=== 例 ===
以下に示すような、[[Stack Exchange]]での議論が参考になる<ref>[https://math.stackexchange.com/q/23093 Could someone explain conditional independence?]</ref>

==== 色付きのボックス ====
各セルは、考えられるアウトカムを表す。事象<math>\color{red}R</math>、<math>\color{blue}B</math>、<math>\color{gold}Y</math>をそれぞれ{{Font color|red|赤色}}、{{Font color|blue|青色}}、{{Font color|gold|黄色}}のセルで表し、例えば事象 <math>\color{red}R</math> とイベント<math>\color{blue}B</math> の重複は {{Font color|purple|紫色}} のセルで表す。これらの事象の確率は、全体の面積に対する色付きの面積の比に相当する。

[[File:Conditional_independence.svg|450x450ピクセル|'''条件付き独立性'''を示す2つの例。]]

どちらの例でも、<math>\color{gold}Y</math> を条件として <math>\color{red}R</math> と <math>\color{blue}B</math> は条件付き独立である（次式）<ref group="注釈">このことを理解するには、Pr(''R'' ∩ ''B'' | ''Y'') が黄色領域（''Y''）において紫色領域（''R'' かつ ''B''）と重なる確率である確率であることを理解する必要がある。左図なら12マス中2マスだから確率6分の1。同様に、赤色領域（''R''）と重なるのは12マス中4マスだから確率3分の1、青色領域（''B''）と重なるのは12マス中6マスだから確率は2分の1。</ref>。

: <math>\Pr({\color{red}R},\,{\color{blue}B} \mid {\color{gold}Y}) = \Pr({\color{red}R} \mid {\color{gold}Y})\,\Pr({\color{blue}B} \mid {\color{gold}Y})</math>

<math>\mathrm{not}\,{\color{gold}Y}</math> を条件として <math>\color{red}R</math> と <math>\color{blue}B</math> は条件付き独立ではない（次式）。

: <math>\Pr({\color{red}R}, {\color{blue}B} \mid \text{not } {\color{gold}Y}) \ne \Pr({\color{red}R} \mid \text{not } {\color{gold}Y})\Pr({\color{blue}B} \mid \mathrm{not} \,  {\color{gold}Y})</math>

==== 天気と遅れ ====
AとBが夕食に間に合うように帰宅する確率を考える。「吹雪が街を襲った」という事象の下で、AとBが夕食に間に合う確率はいずれも低くなる。確率が低くなった上で、Aが夕食に間に合うかがBが夕食に間に合うかに影響しない場合、条件付き独立である。ただし、2人が近所から同じ交通機関を利用して同じ職場に通勤しているような場合、条件付き独立とはいえない。

==== サイコロを振る ====
2つのサイコロを振った場合、1つのサイコロの目を見ても、2番目のサイコロの目は分からない。つまり、2つのサイコロは独立している。しかし、2つの目の和が偶数だと知っていた場合、1番目のサイコロの目が3だと分かれば2番目のサイコロの目が奇数だと分かる。独立した事象であっても、条件付き独立とは限らない。

==== 身長と語彙 ====
非常に小さな人は子供である確率が高く、子供であれば語彙は限られる。このため、身長と語彙は独立ではない。しかし、年齢が分かっている上で（年齢を条件として）背が高いと言われても、語彙が豊富だと考える根拠にはならない。

== 確率変数の条件付き独立 ==
[[確率変数]] <math>Z</math> の下で2つの確率変数 <math>X</math> と <math>Y</math> が条件付き独立であるとは、確率変数 <math>Z</math> の下での <math>X</math> と <math>Y</math> の[[条件付き確率分布]]が独立である、ということと同値である。つまり、<math>Z</math> の値が与えられたとき、<math>Y</math> の値によって<math>X</math> の確率分布は変わらないし、<math>X</math> の値によって <math>Y</math> の確率分布は変わらない。

: <math>X \perp\!\!\!\perp Y \mid Z \quad \iff \quad F_{X,\,Y \mid Z=z}(x,\,y) = F_{X \mid Z=z}(x) \, F_{Y \mid Z=z}(y) \quad \mathrm{for\ all}\; x,\,y,\,z</math>

ここで<math>F_{X,Y\,\mid\,Z\,=\,z}(x,y)=\Pr(X \leq x, Y \leq y \mid Z=z)</math>は <math>Z</math> を条件とした <math>X</math> と <math>Y</math> の[[累積分布関数]]である。

[[完全加法族|&#x3C3;代数]] <math>\Sigma</math> の下で事象 <math>R</math> と事象 <math>B</math> が条件付き独立とは

: <math>\Pr(R, B \mid \Sigma) = \Pr(R \mid \Sigma)\Pr(B \mid \Sigma)</math>

ここで <math>\Pr(A \mid \Sigma) </math> は、σ代数 <math>\Sigma</math> の下での事象 <math>A</math> の[[指示関数]] <math>\chi_A</math> の[[条件付期待値|条件付き期待値]]を示す。

: <math>\Pr(A \mid \Sigma) := \operatorname{E}[\chi_A\mid\Sigma]</math>

<math>\sigma(X)</math> の全ての<math>R</math>と <math>\sigma(Y)</math> の全ての<math>B</math> に対して上の式が成立するとき、σ代数 <math>\Sigma</math> の下で 2つの確率変数 <math>X</math> と <math>Y</math> は条件付き独立である。

確率変数 <math>W</math> の下で 2つの確率変数 <math>X</math> と <math>Y</math> が条件付き独立であるのは、<math>W</math> による σ代数 <math>\sigma(W)</math> の下で <math>X</math> と <math>Y</math> が独立している場合であり、次のように表現する。
: <math>X \perp\!\!\!\perp Y \mid W</math>


<math>W</math> が可算集合のとき、<math>X</math> と <math>Y</math> が以下の形式の事象に対して条件付き独立であることと等価である。
: <math>W=w</math>

3つ以上の事象や3つ以上の確率変数の条件付き独立性も同様に定義される。

== 確率変数ベクトルの条件付き独立性 ==
確率変数ベクトル 独立<math>\mathbf{Z}=(Z_1, \dots, Z_n)^\top</math> の下で2つの確率変数ベクトル<math>\mathbf{X}=(X_1, \dots, X_l)^\top</math>と<math>\mathbf{Y}=(Y_1, \dots, Y_m)^\top</math> が条件付き独立であるとは、<math>\mathbf{Z}</math> の下で条件付き累積分布が独立であることと同値である。

: <math>\mathbf{X} \perp\!\!\!\perp \mathbf{Y} \mid \mathbf{Z} \quad \iff \quad F_{\mathbf{X},\mathbf{Y}|\mathbf{Z}=\mathbf{z}}(\mathbf{x},\mathbf{y}) = F_{\mathbf{X} \mid \mathbf{Z} = \mathbf{z}}(\mathbf{x}) \, F_{\mathbf{Y} \mid \mathbf{Z} = \mathbf{z}}(\mathbf{y}) \quad \mathrm{for\ all}\; \mathbf{x},\,\mathbf{y},\,\mathbf{z}</math>

ここで、<math>\mathbf{x}=(x_1, \dots, x_l)^\top</math>、<math>\mathbf{y}=(y_1, \dots, y_m)^\top</math>、<math>\mathbf{z}=(z_1, \dots, z_n)^\top</math> であり、条件付き累積分布は次のように定義される。

: <math>\begin{align}
F_{\mathbf{X},\mathbf{Y} \mid \mathbf{Z} = \mathbf{z}}(\mathbf{x},\mathbf{y}) &= \Pr(X_1 \leq x_1, \dots, X_l \leq x_l,\; Y_1 \leq y_1, \dots, Y_m \leq y_m \mid Z_1=z_1, \dots, Z_n=z_n) \\
F_{\mathbf{X}\,\mid\,\mathbf{Z} = \mathbf{z}}(\mathbf{x}) &= \Pr(X_1 \leq x_1, \dots, X_l \leq x_l \mid Z_1=z_1, \dots,Z_n=z_n) \\
F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{y}) &= \Pr(Y_1 \leq y_1,\dots,Y_m \leq y_m \mid Z_1=z_1, \dots, Z_n=z_n)
\end{align}</math>

== ベイズ推定での使用 ==
今度の[[国民投票]]で「賛成」と投票する有権者の割合を ''p'' とする。母集団から無作為に ''n'' 人の有権者を選んで[[世論調査]]を行う。i&nbsp;=&nbsp;1、&nbsp;…、&nbsp;''n'' に対して、 i が賛成に投票するなら ''Xi''&nbsp;=&nbsp;1、賛成に投票しないなら ''Xi''&nbsp;=&nbsp;0 とする。

[[推計統計学|統計的推論]]への[[頻度主義統計学|頻度]]主義的アプローチでは、''p'' に確率分布を与えることなく、''X''<sub>1</sub> 、…、 ''X''<sub>''n''</sub> を[[独立 (確率論)|独立]]した確率変数と呼ぶ。

対照的に、統計的推論への[[ベイズ推定|ベイズ]]アプローチでは、''p'' に[[確率分布]]を割り当てて、その確率を「''p'' が任意の間隔にあるという確信の度合い」として解釈する。このモデルでは、確率変数 ''X''<sub>1</sub> 、&nbsp;…、&nbsp;''X''<sub>''n''</sub> は独立ではないが、''p'' の値を条件として'''条件付き独立'''である。特に、多数の ''X'' が 1 に等しいことが観察された場合、''p'' が 1 に近いことが示唆されるので、次に観測される ''X'' が 1 に等しいという[[条件付き確率]]が高くなる。

== 条件付き独立性の規則 ==
基本的な定義から、条件付き独立の記述に関する一連の規則は、導き出される<ref>{{Cite journal|last=Dawid|first=A. P.|author-link=Philip Dawid|year=1979|title=Conditional Independence in Statistical Theory|journal=[[Journal of the Royal Statistical Society, Series B]]|volume=41|issue=1|pages=1–31|JSTOR=2984718|MR=0535541}}</ref> <ref name="pearl:2000">J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press</ref>。

これらの規則は、PearlとPazによって「グラフォイド公理<!--Graphoid Axioms-->」と呼ばれるようになった。<math>X \perp\!\!\!\perp A\mid B</math> は「<math>X</math>から<math>A</math>へのすべての[[道 (位相幾何学)|道]]は集合<math>B</math>によって包含される」と解釈される<ref name="pearl:88">{{Cite book|last=Pearl|first=Judea|title=Probabilistic reasoning in intelligent systems: networks of plausible inference|url=https://archive.org/details/probabilisticrea00pear|date=1988|publisher=Morgan Kaufmann|isbn=9780934613736}}</ref>。

=== 対称 ===
<math>
X \perp\!\!\!\perp Y
\quad \implies \quad
Y \perp\!\!\!\perp X
</math>

=== 分解 ===
<math>
X \perp\!\!\!\perp A,B \quad \implies \quad X \perp\!\!\!\perp A \quad \land \quad X \perp\!\!\!\perp B
</math>

==== 証明 ====
<math>
\begin{align}
& X \perp\!\!\!\perp A,B \\
&\iff p_{X,\,A,\,B}(x,\,a,\,b) = p_X(x)\,p_{A,\,B}(a,\,b) \\
&\implies \int_B p_{X,\,A,\,B}(x,\,a,\,b)\,db = \int_B p_X(x)\,p_{A,\,B}(a,\,b)\,db \\
&\iff p_{X,\,A}(x,\,a) = p_X(x)\,p_A(a) \\
&\iff X \perp\!\!\!\perp A
\end{align}
</math>

=== 弱い組合 ===
<math>
X \perp\!\!\!\perp A,\,B \quad \implies \quad X \perp\!\!\!\perp A \mid B \quad \land \quad X \perp\!\!\!\perp B \mid A
</math>

==== 証明 ====
<math>
X \perp\!\!\!\perp A,\,B \quad \iff \quad \Pr(X) = \Pr(X \mid A,\,B)
</math>

また、
:<math>
\begin{align}
&X \perp\!\!\!\perp A,\,B \\
&\implies X \perp\!\!\!\perp B \\
&\iff \Pr(X) = \Pr(X \mid B)
\end{align}
</math>

以上から、 <math>\Pr(X \mid B) = \Pr(X \mid A,\,B) \quad (\iff X \perp\!\!\!\perp A \mid B)</math>

=== 収縮 ===
<math>
X \perp\!\!\!\perp A \mid B \quad \land \quad X \perp\!\!\!\perp B \implies \quad
X \perp\!\!\!\perp A,\,B
</math>

==== 証明====
<math>X \perp\!\!\!\perp A \mid B \quad \iff \quad  \Pr(X \mid A,\,B) = \Pr(X \mid B)</math>

また、
: <math>X \perp\!\!\!\perp B \quad \iff \quad \Pr(X \mid B) = \Pr(X)</math>

このとき、 
: <math>\Pr(X \mid A,\,B) = \Pr(X) \quad (\iff X \perp\!\!\!\perp A,\,B)</math>

=== 共通部分 ===
厳密に正の確率分布の場合、次式が成立する<ref name="pearl:2000">J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press</ref>。
: <math>X \perp\!\!\!\perp Y \mid Z,\,W \quad \land \quad X \perp\!\!\!\perp W \mid Z,\,Y \quad \implies \quad X \perp\!\!\!\perp W,\,Y \mid Z</math>

====証明====
<math>
\begin{align}
&X \perp\!\!\!\perp Y \mid Z,\,W \quad \land \quad X \perp\!\!\!\perp W \mid Z,\,Y \\
&\iff P(X \mid Z,\,W,\,Y) = P(X \mid Z,\,W) \quad \land \quad P(X \mid Z,\,W,\,Y) = P(X \mid Z,\,Y) \\
&\implies P(X \mid Z,\,Y) = P(X \mid Z, W) 
\end{align}</math>

このとき、<math>P(X \mid Z)</math> に全確率の法則を適用することで、
: <math>
\begin{align}
P(X \mid Z) &= \sum_{w \in W} P(X \mid Z, W=w)\;P(W=w \mid Z) \\
&= \sum_{w \in W} P(X \mid Z,\,Y)\;P(W=w \mid Z) \\
&= P(X \mid Z,\,Y)\;\sum_{w \in W} P(W=w \mid Z) \\
&= P(X \mid Z,\,Y)
\end{align}
</math>

ここで、
: <math>X \perp\!\!\!\perp Y \mid Z,\,W \quad \implies \quad P(X \mid Z,\,W,\,Y) = P(X \mid Z,\,Y)</math>
に注意して、次式を得る。
: <math>P(X \mid Z,\,W,\,Y) = P(X \mid Z) \quad (\iff X \perp\!\!\!\perp Y,\,W \mid Z)</math>

=== 部分空間 ===
ほかの条件 <math>K</math> で条件付けした部分空間でも、同様の規則が成立する。

例えば、
: <math>X \perp\!\!\!\perp Y \quad \implies \quad Y \perp\!\!\!\perp X</math>
に関しては、
: <math>X \perp\!\!\!\perp Y \mid K \quad \implies \quad Y \perp\!\!\!\perp X \mid K</math>
が成立する。

== 脚注 ==
{{脚注ヘルプ}}

=== 注釈 ===
{{Reflist|group="注釈"}}

=== 出典 ===
{{Reflist}}

== 関連項目 ==
* [[デ・フィネッティの定理]]
* [[条件付期待値|条件付き期待値]]
* {{仮リンク|グラフォイド|en|Graphoid}}

== 外部リンク ==
* {{Commonscat-inline}}

{{デフォルトソート:しようけんつきとくりつ}}
[[Category:確率論]]
[[Category:条件]]
[[Category:数学に関する記事]]
[[Category:統計学]]
[[Category:因果推論]]