確率変数の収束

数学の確率論の分野において、確率変数の収束（かくりつへんすうのしゅうそく、テンプレート:Lang-en-short）に関しては、いくつかの異なる概念がある。確率変数列のある極限への収束は、確率論や、その応用としての統計学や確率過程の研究における重要な概念の一つである。より一般的な数学において同様の概念は確率収束 (stochastic convergence) として知られ、その概念は、本質的にランダムあるいは予測不可能な事象の列は、その列から十分離れているアイテムを研究する場合において、しばしば、本質的に不変な挙動へと落ち着くことが予想されることがある、という考えを定式化するものである。異なる収束の概念とは、そのような挙動の特徴づけに関連するものである：すぐに分かる二つの挙動とは、その列が最終的に定数となるか、あるいはその列に含まれる値は変動を続けるがある不変な確率分布によってその変動が表現される、というようなものである。

背景

「確率収束」とは、本質的にランダムあるいは予測不可能である事象の列がしばしばあるパターンへと落ち着くことが期待される、という考えを定式化するものである。そのパターンとは、例えば、

ある固定値や、ある確率事象から発生するそれ自身への、古典的な意味での収束
純粋な決定論的な関数から生じる結果への相似性の増加
ある特定の結果への嗜好の増加
ある特定の結果から離れていることに対する反発の増加

などが挙げられる。それより明白ではないが、より理論的なパターンとしては

次の結果を表現する確率分布が、ある分布へとより似るようになること
ある特定の値から離れた結果の期待値を計算することによって形成される列がテンプレート:Math へと収束すること
次の事象を表現する確率変数の分散がより少なくなっていくこと

などが挙げられる。これらの起こりうる異なるタイプのパターンは、研究されている異なるタイプの確率収束において反映される。

上述の議論は一つの列の一つの極限値への収束と関連しているが、二つの列が互いへと収束する概念も重要である。しかし、それは、それら2つの列の差や比によって定義される列を研究することによって容易に扱うことができる。

例えば、等しい有限の平均と分散を持つようなテンプレート:Mvar 個のテンプレート:仮リンク確率変数テンプレート:Math2 の平均が

X_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i}

で与えられるとすると、テンプレート:Mvar が無限大へと近付く時、テンプレート:Mvar は確率変数テンプレート:Mvar の共通の平均テンプレート:Mvar へと確率収束（下記参照）する。この結果は大数の弱法則として知られる。別のタイプの収束は、中心極限定理を含む別の有用な定理において重要となる。

以下では、テンプレート:Math を確率変数列とし、テンプレート:Mvar を確率変数とし、それらすべては同一の確率空間 $(Ω, ℱ, P)$ 上で定義されるものとする。

分布収束

テンプレート:Infobox このタイプの収束により、ある与えられた確率分布によってより良くモデル化されるようなランダム実験の列における結果を期待することができる。

分布収束は、この記事内で述べられる全ての他のタイプの収束も意味するという点において、最も弱い収束である。しかしながら、実際の現場において、分布収束は非常によく利用される; 最もよく現れるのは、中心極限定理の応用においてである。

定義

確率変数の列テンプレート:Math2 が、ある確率変数テンプレート:Mvar へと分布収束する、あるいは弱収束あるいは法則収束 (converge in law) するとは、

\lim_{n \to \infty} F_{n} (x) = F (x),

が、テンプレート:Mvar が連続であるような全ての数テンプレート:Math に対して成り立つことである。ここで、テンプレート:Mvar およびテンプレート:Mvar はそれぞれ確率変数テンプレート:Mvar およびテンプレート:Mvar の累積分布関数である。

テンプレート:Mvar が連続であるような点のみを考えるということは本質的である。例えば、もしテンプレート:Mvar が区間テンプレート:Math 上一様に分布しているなら、その列は退化確率変数テンプレート:Math へと収束する。実際、テンプレート:Math である時はすべてのテンプレート:Mvar に対してテンプレート:Math が成り立ち、テンプレート:Math である時はすべてのテンプレート:Math となるテンプレート:Mvar に対してテンプレート:Math が成り立つ。しかしながら、すべてのテンプレート:Mvar に対してテンプレート:Math であるにもかかわらず、この極限確率変数に対してはテンプレート:Math である。したがって、テンプレート:Mvar の不連続点テンプレート:Math では累積分布関数の収束は成立しない。

分布収束は次のように表記することができる。

\begin{matrix} X_{n} \overset{d}{\to} X, X_{n} \overset{𝒟}{\to} X, X_{n} \overset{ℒ}{\to} X, X_{n} \overset{d}{\to} ℒ_{X}, \\ X_{n} ⇝ X, X_{n} \Rightarrow X, ℒ (X_{n}) \to ℒ (X), \end{matrix}

ここで $ℒ_{X}$ はテンプレート:Mvar の法則（確率分布）である。例えば、テンプレート:Mvar が標準正規であるなら $X_{n} \overset{d}{\to} 𝒩 (0, 1)$ と書くことができる。

テンプレート:仮リンクテンプレート:Math2 に対する分布収束も、同様に定義される。この列がある確率テンプレート:Mvar-ベクトルへと分布収束するとは、

\lim_{n \to \infty} \Pr (X_{n} \in A) = \Pr (X \in A)

が、テンプレート:Mvar のテンプレート:仮リンクであるすべてのテンプレート:Math に対して成り立つことである。

分布収束の定義は、確率ベクトルから、任意の距離空間におけるより複雑な確率要素や、さらには漸近の場合を除いて可測でない「確率変数」に対してですら拡張される-そのような状況は例えば経験過程の研究において現れ、これは「定義されていない法則の弱収束」である^[1]。

この場合、弱収束という呼び名が好ましい（テンプレート:仮リンクを参照されたい）。また、確率要素の列テンプレート:Math がテンプレート:Mvar へと弱収束する（テンプレート:Math と記述される）とは、

E^{*} h (X_{n}) \to E h (X)

がすべての連続有界関数テンプレート:Math に対して成り立つことである^[2]。ここで Eテンプレート:Sup は外期待値 (outer expectation)、すなわち、テンプレート:Math を支配するような最小の可測関数テンプレート:Mvar の期待値を表す。

性質

テンプレート:Math であることから、分布収束は、十分大きいテンプレート:Mvar に対してテンプレート:Mvar がある与えられた領域に含まれる確率と、その領域にテンプレート:Mvar が含まれる確率がほとんど等しいことを意味する。
一般的に分布収束は、対応する確率密度関数の列が同様に収束するということは意味しない。その一例として、密度テンプレート:Math を備える確率変数を考える。そのような確率変数は一様分布テンプレート:Math へと分布収束するが、その密度が収束することはない^[3]。
テンプレート:仮リンクでは、分布収束のいくつかの同値な定義が述べられている。それらの定義は直感にそぐわないものでもあるかも知れないが、統計学における多くの定理の証明に利用されている。その補題によれば、テンプレート:Math がテンプレート:Mvar へ分布収束するための必要条件は、次のいずれかが成立することである：
テンプレート:Math がすべての有界な連続関数テンプレート:Mvar に対して成立する；
Eƒ(Xテンプレート:Sub) → Ef(X) がすべての有界なリプシッツ関数テンプレート:Mvar に対して成立する；
limsup{ Ef(Xテンプレート:Sub) } ≤ Ef(X) がすべての上半連続かつ上に有界な関数テンプレート:Mvar に対して成立する；
liminf{ Ef(Xテンプレート:Sub) } ≥ Ef(X) がすべての下半連続かつ下に有界な関数テンプレート:Mvar に対して成立する；
limsup{ Pr(Xテンプレート:Sub ∈ C) } ≤ Pr(X ∈ C) がすべての閉集合 C に対して成立する；
liminf{ Pr(Xテンプレート:Sub ∈ U) } ≥ Pr(X ∈ U) がすべての開集合 U に対して成立する；
lim{ Pr(Xテンプレート:Sub ∈ A) } = Pr(X ∈ A) が、すべての確率変数 X のテンプレート:仮リンクテンプレート:Mvar に対して成立する。
テンプレート:仮リンクによると、テンプレート:Math が連続関数であるとき、確率変数列 {Xテンプレート:Sub} がテンプレート:Mvar に分布収束するなら、{g(Xテンプレート:Sub)} もテンプレート:Math へと分布収束することが分かる。
レヴィの連続性定理：確率変数列 {Xテンプレート:Sub} がテンプレート:Mvar に分布収束するための必要十分条件は、それらに対応する特性関数の列テンプレート:Math がテンプレート:Mvar の特性関数テンプレート:Mvar へと各点収束することである。
分布収束はレヴィ-プロホロフ計量によって距離化可能である。
スコロホッドの表現定理は、分布収束への自然な拡張である。

確率収束

テンプレート:Infobox 「例外的」な結果が起こる確率は、列が進むにつれてより小さくなる、という考え方が、このタイプの収束の背景にある。

確率収束の概念は統計学において非常に頻繁に用いられる。例えば、ある推定量が一致推定量であるとは、それが推定された量へと確率収束することを言う。確率収束はまた、大数の弱法則により確立される収束の一つでもある。

定義

確率収束の定義を正式に述べる。任意のテンプレート:Math および任意のテンプレート:Math を選ぶ。テンプレート:Mvar を中心とする半径テンプレート:Mvar の外側にテンプレート:Mvar がある確率をテンプレート:Mvar とする。このとき、テンプレート:Mvar がテンプレート:Mvar へと確率収束するためには、全てのテンプレート:Math に対して確率テンプレート:Mvar がテンプレート:Mvar より小さくなる、ある数テンプレート:Mvar が存在しなければならない。

確率収束は、収束を表す矢印に記号テンプレート:Mvar を付け加えるか、確率極限作用素 "plim" を使って表される：

X_{n} \overset{p}{\to} X, X_{n} \overset{P}{\to} X, \underset{n \to \infty}{plim} X_{n} = X .

性質

確率収束するならば、分布収束するテンプレート:Sup。
確率収束しても、必ずしも概収束しないテンプレート:Sup。
逆に、分布収束が確率収束を意味するためには、極限の確率変数 X が定数である必要があるテンプレート:Sup。
テンプレート:仮リンクによると、どのような連続関数テンプレート:Math に対しても、 $X_{n} \overset{p}{\to} X$ であるならば $g (X_{n}) \overset{p}{\to} g (X)$ が成立する。
確率収束は、ある固定された確率空間に対する確率変数の空間上の位相を定義する。この位相は、次に述べるテンプレート:仮リンク計量により距離化可能である^[4]：

d (X, Y) = \inf {ε > 0 : \Pr (| X - Y | > ε) \leq ε}

あるいは

d (X, Y) = 𝔼 [\min (| X - Y |, 1)]

.

概収束

テンプレート:Infobox 概収束は、初等的な実解析の分野で知られる各点収束の概念とほぼ同様な、確率収束の一つの型である。

定義

確率変数列テンプレート:Mvar がテンプレート:Mvar へと概収束あるいはほとんど確実に収束、ほとんど至る所で収束、確率テンプレート:Math で収束あるいは強収束するとは、

\Pr (\lim_{n \to \infty} X_{n} = X) = 1

が成り立つことである。

上式は、テンプレート:Mvar がテンプレート:Mvar へと収束しない事象が起きる確率がテンプレート:Math であるという意味で、テンプレート:Mvar の値がテンプレート:Mvar の値へと近付くことを意味する（ほとんど (数学)も参照）。確率空間 $(Ω, ℱ, P)$ を定め、テンプレート:Mvar からテンプレート:Math への関数としての確率変数の概念を利用することで、上式は

\Pr (ω \in Ω : \lim_{n \to \infty} X_{n} (ω) = X (ω)) = 1

と同値となる。

また概収束の同値な定義には、以下もある：

\Pr (lim inf {ω \in Ω : | X_{n} (ω) - X (ω) | < ε}) = 1 for all ε > 0 .

概収束は、しばしば、収束を表す矢印の上に記号 a.s.（almost surelyの略）を付け加えることによって表現される：

X_{n} \overset{a . s .}{\to} X .

距離空間テンプレート:Math 上の一般的な確率要素テンプレート:Math に対しても、同様に概収束が定義される：

\Pr (ω \in Ω : d (X_{n} (ω), X (ω)) \underset{n \to \infty}{⟶} 0) = 1

性質

概収束は確率収束を意味し、したがって分布収束を意味する。大数の強法則で用いられる概念は、概収束である。
概収束の概念は、確率変数の空間上のトポロジーから生じるものではない。このことは、概収束がそのトポロジーに関する収束列と全く等しいような確率変数の空間上のトポロジーというものは存在しないことを意味する。特に、概収束には計量が無い。

確実収束

ある確率空間上定義される列あるいは確率変数テンプレート:Math（すなわち、確率過程）がテンプレート:Mvar へ確実収束 (sure convergence) あるいは各点収束するとは、

\lim_{n \to \infty} X_{n} (ω) = X (ω), \forall ω \in Ω

が成り立つことである。ここでテンプレート:Mvar は、確率変数が定義される確率空間に含まれる標本空間である。

これは、関数列の各点収束の概念を確率変数の列へと拡張したものである（確率変数はそれ自身が関数であることに注意されたい）。

{ω \in Ω | \lim_{n \to \infty} X_{n} (ω) = X (ω)} = Ω .

確率変数の確実収束は、上述の他の全ての収束を意味する。しかし、概収束の代わりに確実収束を用いることのメリットは確率論においてはあまり無い。それら2つの収束の違いは、確率テンプレート:Math の集合に関する点のみに存在する。このことが、確実収束の概念が滅多に用いられることの無い理由である。

平均収束

あるテンプレート:Math に対し、列テンプレート:Math がテンプレート:Mvar へとテンプレート:Mvar次平均収束（あるいは、[[Lp空間|テンプレート:Mvar-ノルム]]について収束）するとは、テンプレート:Math およびテンプレート:Mvar のテンプレート:Mvar次絶対積率が存在し、かつ

\lim_{n \to \infty} E (| X_{n} - X |^{r}) = 0

が成り立つことである。ここで作用素 E は期待値を表す。テンプレート:Mvar次平均収束は、テンプレート:Math とテンプレート:Mvar の差のテンプレート:Mvar次のべきの期待値がテンプレート:Math へと収束することを意味する。

この種の収束はしばしば、収束を表す矢の上に記号テンプレート:Mvar を付け加えることで表現される：

X_{n} \overset{L^{r}}{\to} X .

r次平均収束に関して重要なケースを下に挙げる：

テンプレート:Math についてテンプレート:Mvar がテンプレート:Mvar へとテンプレート:Mvar次平均収束するとき、テンプレート:Mvar はテンプレート:Mvar へ平均収束すると言われる。
テンプレート:Math についてテンプレート:Mvar がテンプレート:Mvar へとテンプレート:Mvar次平均収束するとき、テンプレート:Mvar はテンプレート:Mvar へ二乗平均収束すると言う。この収束はまた次のように記述されることもある^[5]：
$\underset{n \to \infty}{l.i.m.} X_{n} = X .$

テンプレート:Math に関するテンプレート:Mvar次平均収束は、（マルコフの不等式により）確率収束を意味する。また、テンプレート:Math である時、テンプレート:Mvar次平均収束はテンプレート:Mvar次平均収束を意味する。このことから、二乗平均収束は平均収束を意味することが分かる。

性質

様々な収束の概念の間の包含関係を以下に記述する。それらは、矢の記号を使うことで、次のように表される：

\begin{matrix} \overset{L^{s}}{\to} & \underset{s > r \geq 1}{\Rightarrow} & \overset{L^{r}}{\to} \\ ⇓ \\ \overset{a . s .}{\to} & \Rightarrow & \overset{p}{\to} & \Rightarrow & \overset{d}{\to} \end{matrix}

いくつかの特別な場合とともに、これらの性質を次のようにまとめる：

概収束は、確率収束を意味する^[6]テンプレート:Sup：
$X_{n} \overset{a s}{\to} X \Rightarrow X_{n} \overset{p}{\to} X$
確率収束は、概収束するような部分列 $(k_{n})$ が存在することを意味する^[7]：
$X_{n} \overset{p}{\to} X \Rightarrow X_{k_{n}} \overset{a s}{\to} X$
確率収束は、分布収束を意味する^[6]テンプレート:Sup：
$X_{n} \overset{p}{\to} X \Rightarrow X_{n} \overset{d}{\to} X$
テンプレート:Mvar次平均収束は、確率収束を意味する：
$X_{n} \overset{L^{r}}{\to} X \Rightarrow X_{n} \overset{p}{\to} X$
テンプレート:Mvar次平均収束は、より低次（ただしそれらはいずれもテンプレート:Math より大きいものとする）の平均収束を意味する：
$X_{n} \overset{L^{r}}{\to} X \Rightarrow X_{n} \overset{L^{s}}{\to} X,$ provided r ≥ s ≥ 1.
テンプレート:Mvar が定数テンプレート:Mvar へと分布収束するなら、テンプレート:Mvar はテンプレート:Mvar へと確率収束する^[6]テンプレート:Sup：
$X_{n} \overset{d}{\to} c \Rightarrow X_{n} \overset{p}{\to} c,$ provided c is a constant.
テンプレート:Mvar がテンプレート:Mvar へと分布収束し、テンプレート:Mvar とテンプレート:Mvar の差がテンプレート:Math へと確率収束するなら、テンプレート:Mvar もまたテンプレート:Mvar へ分布収束する^[6]テンプレート:Sup：
$X_{n} \overset{d}{\to} X, | X_{n} - Y_{n} | \overset{p}{\to} 0 \Rightarrow Y_{n} \overset{d}{\to} X$
テンプレート:Mvar がテンプレート:Mvar へ分布収束し、テンプレート:Mvar が定数テンプレート:Mvar へ分布収束するなら、それらの結合ベクトル (テンプレート:Mvar, テンプレート:Mvar) はテンプレート:Math へ分布収束する^[6]テンプレート:Sup：
$X_{n} \overset{d}{\to} X, Y_{n} \overset{d}{\to} c \Rightarrow (X_{n}, Y_{n}) \overset{d}{\to} (X, c)$ provided テンプレート:Mvar is a constant.

ここでテンプレート:Mvar が定数へ収束するという条件が重要であることに注意されたい。もしその収束がある確率変数テンプレート:Mvar へのものであったら、テンプレート:Math がテンプレート:Math へ収束するという結論は得られない。

テンプレート:Mvar がテンプレート:Mvar へ確率収束し、テンプレート:Mvar がテンプレート:Mvar へ確率収束するなら、それらの結合ベクトルテンプレート:Math はテンプレート:Math へ確率収束する^[6]テンプレート:Sup：
$X_{n} \overset{p}{\to} X, Y_{n} \overset{p}{\to} Y \Rightarrow (X_{n}, Y_{n}) \overset{p}{\to} (X, Y)$
テンプレート:Mvar がテンプレート:Mvar へ確率収束し、すべてのテンプレート:Mvar およびあるテンプレート:Mvar に対してテンプレート:Math が成立するなら、テンプレート:Mvar はすべてのテンプレート:Math に対してテンプレート:Mvar へとテンプレート:Mvar次平均収束する。言い換えると、テンプレート:Mvar がテンプレート:Mvar へと確率収束し、すべてのテンプレート:Mvar がほとんど確実に上下とも有界であるなら、テンプレート:Mvar は任意のテンプレート:Mvar についてテンプレート:Mvar へテンプレート:Mvar次平均収束する。
概収束表現：通常、分布収束は概収束を意味するものではない。しかし、テンプレート:Math へ分布収束するある与えられた列テンプレート:Math に対しては、新しい確率空間テンプレート:Math とその上で定義される確率変数テンプレート:Math で、各テンプレート:Math に対してテンプレート:Mvar は分布としてテンプレート:Mvar に等しく、またテンプレート:Mvar はテンプレート:Math へと概収束するようなものを見つけることが常に可能である^[8]。
すべてのテンプレート:Math に対して
$\sum_{n} ℙ (| X_{n} - X | > ε) < \infty$

であるとき、テンプレート:Mvar はテンプレート:Mvar へとほとんど完全に (almost completely) 収束すると言う。テンプレート:Mvar がテンプレート:Mvar へほとんど完全に収束するなら、それはまたテンプレート:Mvar へ概収束もする。言い換えると、もしテンプレート:Mvar が十分に早くテンプレート:Mvar へ確率収束するテンプレート:Efnなら、テンプレート:Mvar はテンプレート:Mvar へ概収束もする。これは、ボレル・カンテリの補題からの直接的な帰結である。

テンプレート:Mvar をテンプレート:Mvar 個の実独立な確率変数の和
$S_{n} = X_{1} + \dots + X_{n}$

としたとき、テンプレート:Mvar が概収束することと確率収束することは同値である。

優収束定理は、概収束がテンプレート:Math-収束を意味するための十分条件を与える：
$\begin{matrix} X_{n} \overset{a . s .}{\to} X \\ | X_{n} | < Y \\ E (Y) < \infty \end{matrix}} \Rightarrow X_{n} \overset{L^{1}}{\to} X$
テンプレート:Math 収束のための必要十分条件は、 $X_{n} \overset{P}{\to} X$ かつ列テンプレート:Math が一様可積分であることである。

脚注

注釈

テンプレート:Notelist

出典

テンプレート:Reflist

参考文献

テンプレート:Refbegin

テンプレート:Refend テンプレート:Cz

確率変数の収束

目次

背景

分布収束

定義

性質

確率収束

定義

性質

概収束

定義

性質

確実収束

平均収束

性質

脚注

注釈

出典

参考文献

関連項目

ナビゲーションメニュー

確率変数の収束

背景

分布収束

定義

性質

確率収束

定義

性質

概収束

定義

性質

確実収束

平均収束

性質

脚注

注釈

出典

参考文献

関連項目

ナビゲーション メニュー

検索

ナビゲーションメニュー