マルコフ再生過程のソースを表示

{{参照方法|date=2018年1月}}
'''マルコフ再生過程'''（{{lang-en-short|Markov renewal process; MRP}}）は、[[確率過程]]の一つであり、ジャンプ型マルコフ過程（Markov jump process）の考え方を一般化したものである。[[マルコフ連鎖]]や{{仮リンク|ポアソン点過程|en|Poisson point process}}のような一部の確率過程、および{{仮リンク|再生過程|en|renewal theory}}はマルコフ再生過程の特別な場合として導出することができる。

== 定義 ==
[[ファイル:Marked_point_process.png|サムネイル|600x600ピクセル|マルコフ再生過程の実例]]

状態空間を <math>\mathrm{S}</math> 、（連続的な）時刻の集合を <math>\mathrm{T}</math> とする。いま、確率変数の系列 <math>\{ (X_n, T_n) \in \mathrm{S} \times \mathrm{T} \}_{n \geq 0}</math> を考える。ここで <math>T_n</math> はジャンプ時刻 (jump time) 、<math>X_n</math> は対応する[[マルコフ連鎖]]の状態である (図を参照）。また、到着間時刻 (inter-arrival time) を <math>\tau_n = T_n - T_{n-1}</math> と表記する。次の条件を満たすとき、系列 <math>\{ (X_n, T_n) \}_{n \geq 0}</math> はマルコフ再生過程と呼ばれる。

<math display="block">
\begin{align}
  & \Pr(\tau_{n+1} \le t, X_{n+1} = j \mid (X_0, T_0), (X_1, T_1), \ldots, (X_n=i, T_n)) \\
  &\quad =
    \Pr(\tau_{n+1} \le t, X_{n+1} = j \mid X_n = i) \quad \forall n \ge1,t\ge0, i,j \in \mathrm{S}
\end{align}
</math>

== 準マルコフ過程 ==
<math>t \in [T_n, T_{n+1})</math> に対し <math>Y_t:=X_n</math> を満たす確率過程 <math>Y_t</math> を定義する。これは'''準マルコフ過程 (semi-Markov process)''' と呼ばれる確率過程となる。MRP と準マルコフ過程の違いは、前者は状態と時刻の組で定義されるのに対し、後者は時間発展する実際の時系列の確率過程であり、実現値が任意の時刻における状態の値として定義される点である。

この確率過程は全体を見れば[[マルコフ性]]を持たない（すなわち無記憶性を持たない）が、ジャンプする瞬間に限りマルコフ性を持つ。これが''準''マルコフという名前の理論的根拠である{{sfn|Medhi|1982}}{{sfn|Ross|1999}}{{sfn|Barbu|2008}}。{{仮リンク|隠れ準マルコフモデル|en|hidden semi-Markov model}} も参照されたい。

（上に定義した）準マルコフ過程のうち、保持時間 (holding time) が指数分布で表されるものを連続時間マルコフ連鎖、または連続時間[[マルコフ過程]] (continuous-time Markov chain/process; CTMC) と呼ぶ。言い換えると、到着間時間が指数分布に従い、かつある状態における待ち時間 (waiting time) と次に遷移する状態が独立であれば準マルコフ過程は CTMC となる。
:<math>
\begin{align}
  &\Pr(\tau_{n+1} \leq t, X_{n+1}=j \mid (X_0,T_0), \ldots, (X_n, T_n)) \\
  &\quad= \Pr(X_{n+1} = j \mid X_n = i) (1 - e^{-\lambda_i t}),\quad \forall n \geq 1, t \geq 0, i,j \in \mathrm{S}
\end{align}
</math>

== 他の確率過程との関係 ==
# 系列 <math>\{ X_n \}_{n \geq 0}</math> は離散時間マルコフ連鎖となる。すなわち、時間変数を無視すれば MRP は離散時間マルコフ連鎖として扱うことができる。
#:<math>
  \Pr(X_{n+1}=j \mid X_0, \ldots, X_n = i) = \Pr(X_{n+1} = j \mid X_n = i),\quad \forall n \geq 1, i,j \in \mathrm{S}
</math>
# 系列 <math>\{ \tau_n \}_{n \geq 0}</math> が[[独立同分布|独立かつ同一の分布]]に従い、かつそれらの分布が状態 <math>X_n</math> に依存しないのであれば、対応する確率過程は{{仮リンク|再生過程|en|renewal theory}}となる。したがって、状態を無視したときに得られる独立同分布の時間系列は再生過程として扱うことができる。
#:<math>
  \Pr(\tau_{n+1} \leq t \mid T_0, \ldots, T_n) = \Pr(\tau_{n+1} \leq t), \quad \forall n \geq 1, t \geq 0
</math>

== 参考文献 ==
{{Reflist hide}}
{{refbegin}}
* {{cite book
  |last=Medhi
  |first=J.
  |title=Stochastic processes
  |year=1982
  |publisher=Wiley & Sons
  |location=New York
  |isbn=978-0-470-27000-4}}
* {{cite book
  |last=Ross
  |first=Sheldon M.
  |title=Stochastic processes.
  |year=1999
  |publisher=Routledge.
  |location=New York [u.a.]
  |isbn=978-0-471-12062-9
  |edition=2nd}}
* {{cite book
  |last=Barbu
  |first=Vlad Stefan
  |title=Semi-Markov chains and hidden semi-Markov models toward applications : their use in reliability and DNA analysis
  |year=2008
  |publisher=Springer
  |location=New York
  |isbn=978-0-387-73171-1
  |author2=Limnios, Nikolaos}}
{{refend}}

{{確率論}}
{{デフォルトソート:まるこふさいせいかてい}}
[[Category:確率過程]]
[[Category:アンドレイ・マルコフ]]
[[Category:数学のエポニム]]
[[Category:数学に関する記事]]