マルコフ再生過程

テンプレート:参照方法 マルコフ再生過程（テンプレート:Lang-en-short）は、確率過程の一つであり、ジャンプ型マルコフ過程（Markov jump process）の考え方を一般化したものである。マルコフ連鎖やテンプレート:仮リンクのような一部の確率過程、およびテンプレート:仮リンクはマルコフ再生過程の特別な場合として導出することができる。

定義

マルコフ再生過程の実例

状態空間を $\mathrm{S}$ 、（連続的な）時刻の集合を $\mathrm{T}$ とする。いま、確率変数の系列 $\{(X_n,T_n)\in \mathrm{S}\times \mathrm{T}{\}}_{n\ge 0}$ を考える。ここで $T_n$ はジャンプ時刻 (jump time) 、$X_n$ は対応するマルコフ連鎖の状態である (図を参照）。また、到着間時刻 (inter-arrival time) を ${\tau }_n=T_n-T_{n-1}$ と表記する。次の条件を満たすとき、系列 $\{(X_n,T_n){\}}_{n\ge 0}$ はマルコフ再生過程と呼ばれる。

$$\begin{array}{cc}& \mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid (X_0,T_0),(X_1,T_1),\dots ,(X_n=i,T_n))\\ & =\mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid X_n=i)\mathrm{\forall }n\ge 1,t\ge 0,i,j\in \mathrm{S}\end{array}$$

準マルコフ過程

$t\in [T_n,T_{n+1})$ に対し $Y_t:=X_n$ を満たす確率過程 $Y_t$ を定義する。これは準マルコフ過程 (semi-Markov process) と呼ばれる確率過程となる。MRP と準マルコフ過程の違いは、前者は状態と時刻の組で定義されるのに対し、後者は時間発展する実際の時系列の確率過程であり、実現値が任意の時刻における状態の値として定義される点である。

この確率過程は全体を見ればマルコフ性を持たない（すなわち無記憶性を持たない）が、ジャンプする瞬間に限りマルコフ性を持つ。これが準マルコフという名前の理論的根拠であるテンプレート:Sfnテンプレート:Sfnテンプレート:Sfn。テンプレート:仮リンク も参照されたい。

（上に定義した）準マルコフ過程のうち、保持時間 (holding time) が指数分布で表されるものを連続時間マルコフ連鎖、または連続時間マルコフ過程 (continuous-time Markov chain/process; CTMC) と呼ぶ。言い換えると、到着間時間が指数分布に従い、かつある状態における待ち時間 (waiting time) と次に遷移する状態が独立であれば準マルコフ過程は CTMC となる。

$\begin{array}{cc}& \mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid (X_0,T_0),\dots ,(X_n,T_n))\\ & =\mathrm{Pr}(X_{n+1}=j\mid X_n=i)(1-e^{-{\lambda }_{i}t}),\mathrm{\forall }n\ge 1,t\ge 0,i,j\in \mathrm{S}\end{array}$

他の確率過程との関係

1. 系列 $\{X_n{\}}_{n\ge 0}$ は離散時間マルコフ連鎖となる。すなわち、時間変数を無視すれば MRP は離散時間マルコフ連鎖として扱うことができる。

   $\mathrm{Pr}(X_{n+1}=j\mid X_0,\dots ,X_n=i)=\mathrm{Pr}(X_{n+1}=j\mid X_n=i),\mathrm{\forall }n\ge 1,i,j\in \mathrm{S}$

2. 系列 $\{{\tau }_n{\}}_{n\ge 0}$ が独立かつ同一の分布に従い、かつそれらの分布が状態 $X_n$ に依存しないのであれば、対応する確率過程はテンプレート:仮リンクとなる。したがって、状態を無視したときに得られる独立同分布の時間系列は再生過程として扱うことができる。

   $\mathrm{Pr}({\tau }_{n+1}\le t\mid T_0,\dots ,T_n)=\mathrm{Pr}({\tau }_{n+1}\le t),\mathrm{\forall }n\ge 1,t\ge 0$

参考文献

• テンプレート:Cite book
• テンプレート:Cite book
• テンプレート:Cite book