自己回帰移動平均モデルのソースを表示

'''自己回帰移動平均モデル'''（じこかいきいどうへいきんモデル、{{lang-en-short|autoregressive moving average model}}、'''ARMAモデル'''）は[[自己回帰モデル]]による線形フィードバックと[[移動平均モデル]]による線形フィードフォワードによりシステムを表現するモデルである<ref>"ARMA…は自己回帰項と移動平均項を両方含んだ過程である。" 沖本. (2010). ''経済・ファイナンスデータの計量時系列分析''. 朝倉書店.</ref>。George Box と G. M. Jenkins  の名をとって "ボックス・ジェンキンスモデル" とも呼ばれる。

ARMAモデルは時系列データの将来値を予測するツールとして機能する。

== 定義 ==
<math> p</math> 次の[[自己回帰モデル|自己回帰]] (AR) および <math> q</math> 次の[[移動平均モデル|移動平均]] (MA) からなる自己回帰移動平均モデル <math> \text{ARMA(p, q)}</math> は以下のように定義される<ref>p. 34 of 沖本. (2010). ''経済・ファイナンスデータの計量時系列分析''. 朝倉書店.</ref>。
: <math> X_t = c
+ \sum_{i=1}^p \varphi_i X_{t-i}
+ \sum_{i=0}^q \theta_i \varepsilon_{t-i}
</math>
ここで <math> c</math> は定数、<math> \varphi_k</math> は自己回帰パラメータ、<math> \theta_k</math> は移動平均パラメータ (<math> \theta_0 = 1</math>)、<math> \varepsilon_t</math> は時刻 <math> t</math> における[[ホワイトノイズ]]である。

すなわちARMAモデルでは、各時刻でサンプリングされたホワイトノイズが過去時刻 <math> q</math> まで重み付け和でフィードフォワードされ、また過去時刻 <math> p</math> まで出力が線形フィードバックされ、定数に足しこまれることで現在値が得られる。

== 自己回帰モデル ==
{{main|自己回帰モデル}}
AR(''p'') という表記は次数 ''p'' の自己回帰モデルを表す。AR(''p'')モデルは次の式で表される。

{{Indent|<math> X_t = c + \sum_{i=1}^p \varphi_i X_{t-i}+ \varepsilon_t .\,</math>}}

ここで<math>\varphi_1, \ldots, \varphi_p</math>はモデルの'''パラメータ'''、<math>c</math> は定数項、<math>\varepsilon_t</math> は誤差項（後述）である。定数項は単純化するために省かれることが多い。

自己回帰モデルは基本的に[[無限インパルス応答]]フィルタに一種の変形を加えたものである。

モデルとして[[定常過程|定常的]]であるために、パラメータの値には何らかの制約が必要である。例えば、|φ<sub>1</sub>| > 1 となる AR(1)モデルは定常的ではない。

===例: AR(1)過程 ===
AR(1)過程は次の式で表される。

{{Indent|<math>X_t = c + \varphi X_{t-1}+\varepsilon_t,\,</math>}}

ここで、<math>\varepsilon_t</math> は、<math>\sigma^2</math>の分散に従う[[ホワイトノイズ]]である（<math>\varphi_1</math> のような添え字は省いてある）。この過程は <math>|\varphi|<1</math> であれば、[[定常過程|共分散定常性]]を有する。<math>\varphi=1</math> であれば、<math>X_t</math> は[[単位根]]を表し、[[ランダムウォーク]]と見なされ、共分散定常性を有しない。そうでない場合、<math>X_t</math> の期待値の計算は単純である。ここで共分散定常性を以下のように定式化する。

{{Indent|<math>\mbox{E}(X_t)=\mbox{E}(c)+\varphi\mbox{E}(X_{t-1})+\mbox{E}(\varepsilon_t)\Rightarrow \mu=c+\varphi\mu+0.</math>}}

従って、次のようになる。

{{Indent|<math>\mu=\frac{c}{1-\varphi},</math>}}

ここで <math>\mu</math> は平均である。c = 0 なら、[[平均]]も 0 になり、[[分散 (確率論)|分散]]は次のようになる。

{{Indent|<math>\textrm{var}(X_t)=E(X_t^2)-\mu^2=\frac{\sigma^2}{1-\varphi^2}.</math>}}

[[自己共分散]]は次の式で表される。

{{Indent|<math>B_n=E(X_{t+n}X_t)-\mu^2=\frac{\sigma^2}{1-\varphi^2}\,\,\varphi^{|n|}.</math>}}

この自己共分散関数は減衰時間 <math>\tau=-1/\ln(\varphi)</math> で減衰する（これを確かめるには、<math>B_n=K\phi^{|n|}</math> で <math>K</math> が <math>n</math> に独立な場合を考えればよい。<math>\phi^{|n|}=e^{|n|\ln\phi}</math> であり、指数関数的減衰の法則 <math>e^{-n/\tau}</math> に適合することに注意されたい）。[[スペクトル密度]]関数は自己共分散関数の[[フーリエ変換|逆フーリエ変換]]である。離散系では、離散時間逆フーリエ変換が適用される。

{{Indent|<math>\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\sum_{n=-\infty}^\infty B_n e^{-i\omega n}
=\frac{1}{\sqrt{2\pi}}\,\left(\frac{\sigma^2}{1+\varphi^2-2\varphi\cos(\omega)}\right).
</math>}}

<math>X_j</math> が離散的であるため、この式の分母にあるコサインの項が[[折り返し雑音]]（エイリアス）を表している。標本化間隔(<math>\Delta t=1</math>)が減衰時間(<math>\tau</math>)より十分に小さいと仮定すると、<math>B_n</math> に連続体近似を適用できる。

{{Indent|<math>B(t)\approx \frac{\sigma^2}{1-\varphi^2}\,\,\varphi^{|t|}</math>}}

この場合、スペクトル密度は[[コーシー分布|ローレンツ分布]]に従う。

{{Indent|<math>\Phi(\omega)=
=\frac{1}{\sqrt{2\pi}}\,\frac{\sigma^2}{1-\varphi^2}\,\frac{\gamma}{\pi(\gamma^2+\omega^2)}</math>}}

ここで <math>\gamma=1/\tau</math> は減衰時間 <math>\tau</math> に関する角周波数である。

<math>X_t</math> の別の表現方法として、最初の式で <math>X_{t-1}</math> を <math>c+\varphi X_{t-2}+\varepsilon_{t-1}</math> に置き換える方法がある。これを再帰的に ''N''回繰り返すと次の式になる。

{{Indent|<math>X_t=c\sum_{k=0}^{N-1}\varphi^k+\varphi^NX_{\varphi-N}+\sum_{k=0}^{N-1}\varphi^k\varepsilon_{t-k}.</math>}}

''N'' が無限大に近づくと、<math>\varphi^N</math> はゼロに近づき、最終的に次の式が得られる。

{{Indent|<math>X_t=\frac{c}{1-\varphi}+\sum_{k=0}^\infty\varphi^k\varepsilon_{t-k}</math>}}

=== ARパラメータの計算 ===
AR(''p'')モデルは次の方程式で与えられる。

{{Indent|<math> X_t = \sum_{i=1}^p \varphi_i X_{t-i}+ \varepsilon_t.\,</math>}}

これはパラメータ <math>\varphi_i</math>（''i'' = 1, ..., ''p''）に基づいている。これらパラメータは以下の '''Yule-Walker方程式'''で計算できる可能性がある。

{{Indent|<math>
\gamma_m = \sum_{k=1}^p \varphi_k \gamma_{m-k} + \sigma_\varepsilon^2\delta_m
</math>}}

ここで ''m'' = 0, ... , ''p'' であり、''p''&nbsp;+&nbsp;1 個の方程式となる。<math>\gamma_m</math> は X の自己共分散関数、<math>\sigma_\varepsilon</math> は入力ノイズ過程の標準偏差、δ<sub>m</sub> は[[クロネッカーのデルタ]]である。

この式の最後の部分は ''m'' = 0 のときだけ 0 でない値となるので、この方程式は一般に ''m'' > 0 のときの行列式で表すことで解ける。

{{Indent|<math>\begin{bmatrix}
\gamma_1 \\
\gamma_2 \\
\gamma_3 \\
\vdots \\
\end{bmatrix} 

=

\begin{bmatrix}
\gamma_0 & \gamma_{-1} & \gamma_{-2} & \dots \\
\gamma_1 & \gamma_0 & \gamma_{-1} & \dots \\
\gamma_2 & \gamma_{1} & \gamma_{0} & \dots \\
\dots      & \dots         & \dots       & \dots \\
\end{bmatrix} 

\begin{bmatrix}
\varphi_{1} \\
\varphi_{2} \\
\varphi_{3} \\
 \vdots \\
\end{bmatrix}

</math>}}

これにより <math>\varphi</math> が全て求められる。また、''m'' = 0 のときは次のようになる。

{{Indent|<math>
\gamma_0 = \sum_{k=1}^p \varphi_k \gamma_{-k} + \sigma_\varepsilon^2
</math>}}

これにより <math>\sigma_\varepsilon^2</math> が求められる。

==== 導出 ====
AR過程を定義する方程式は次の通りである。

{{Indent|<math> X_t = \sum_{i=1}^p \varphi_i\,X_{t-i}+ \varepsilon_t.\,</math>}}

両辺に X<sub>t-m</sub> をかけて、期待値を求めるとしたとき、次のようになる。

{{Indent|<math>E[X_t X_{t-m}] = E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-m}\right]+ E[\varepsilon_t X_{t-m}].</math>}}

自己共分散関数の定義から、<math>E[X_t X_{t-m}] =\gamma_m</math> である。ノイズ関数の値は互いに独立であり、ゼロより大きい ''m'' について ''X''<sub>''t''&nbsp;&minus;&nbsp;''m''</sub> は ε<sub>t</sub> に独立である。''m'' ≠ 0 の場合、<math>E[\varepsilon_t X_{t-m}] = 0</math> となる。''m'' = 0 の場合、次のようになる。

{{Indent|<math>E[\varepsilon_t X_{t}] 
= E\left[\varepsilon_t (\sum_{i=1}^p \varphi_i\,X_{t-i}+ \varepsilon_t)\right]
= \sum_{i=1}^p \varphi_i\, E[\varepsilon_t\,X_{t-i}] + E[\varepsilon_t^2]
= 0 + \sigma_\varepsilon^2,
</math>}}

従って、次が得られる。

{{Indent|<math>\gamma_m = E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-m}\right] + \sigma_\varepsilon^2 \delta_m.</math>}}

さらに

{{Indent|<math>E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-m}\right]
= \sum_{i=1}^p \varphi_i\,E[X_{t} X_{t-m+i}]
= \sum_{i=1}^p \varphi_i\,\gamma_{m-i},
</math>}}

これにより次の Yule-Walker方程式が導かれる。

{{Indent|<math>\gamma_m = \sum_{i=1}^p \varphi_i \gamma_{m-i} + \sigma_\varepsilon^2 \delta_m.</math>}}

== 誤差項 ==
誤差項 ε<sub>t</sub> は一般に「[[独立同分布|独立かつ同一の分布に従う]]」(i.i.d.)無作為変数であり、ゼロを平均値とする[[正規分布]]に従う。すなわち ε<sub>t</sub> ~ N(0,σ<sup>2</sup>) で、σ<sup>2</sup> は分散である。このような仮定を弱めることもあるが、そうするとモデルとしての性質が変化する。特に、i.i.d. という仮定を変更すると根本的な性質が変化する。

== ラグ（遅れ）作用素を使った記法 ==
ARMAモデルを[[ラグ作用素]]（遅れ作用素） ''L'' を使って表す場合もある。この場合、AR(''p'')モデルは次のように表される。

{{Indent|<math> \varepsilon_t = \left(1 - \sum_{i=1}^p \varphi_i L^i\right) X_t =  \varphi X_t\,</math>}}

ここで、φ は次の多項式で表される。

{{Indent|<math> \varphi = 1 - \sum_{i=1}^p \varphi_i L^i.\,</math>}}

また、MA(''q'')モデルは次のように表される。

{{Indent|<math> X_t = \left(1 + \sum_{i=1}^q \theta_i L^i\right) \varepsilon_t = \theta \varepsilon_t\,</math>}}

ここで θ は次の多項式で表される。

{{Indent|<math> \theta= 1 + \sum_{i=1}^q \theta_i L^i.\,</math>}}

以上から、ARMA(''p'', ''q'')モデルは次のように表される。

{{Indent|<math> \left(1 - \sum_{i=1}^p \varphi_i L^i\right) X_t = \left(1 + \sum_{i=1}^q \theta_i L^i\right) \varepsilon_t\,</math>}}

あるいは、もっと簡潔に記せば、次のようになる。

{{Indent|<math> \varphi X_t = \theta \varepsilon_t.\,</math>}}

ラグ作用素とは、時系列データのある時点のデータで他の時点のデータを表すように係数化したもの。上記の式はいずれも ''X''<sub>t</sub> しか出現しない（他の時点のデータが出てこない）ことに注意されたい。他の時点のデータは全てラグ作用素によって表されている。

== 実データへの適用 ==
実データに適用する場合、ARMAモデルの p と q を選択後、誤差項を最小化するパラメータを探るため[[最小二乗法]]を使うのが普通である。また、実データに適合する最小の p および q を見つけることでよい結果が得られることが知られている。純粋なARモデルでは、これに [[Yule-Walker 方程式]]を利用することができる。

== 一般化 ==
ARMAモデルの一般化として次が挙げられる。

* 非線型自己回帰移動平均モデル (NARMA): ''X''<sub>''t''</sub> の過去の値や誤差項 ε<sub>t</sub> との依存関係を線形に限定しない
* 自己回帰条件付き分散変動モデル (ARCH)
* 自己回帰和分移動平均モデル (ARIMA)
* ベクトルARIMAモデル
* 季節ARIMAモデル (SARIMA): 季節変動効果の考慮
* 多変量自己回帰モデル (MAR)

==関連項目==
*[[自己回帰モデル]] (AR)
*[[移動平均モデル]] (MA)
*[[自己回帰和分移動平均モデル]] (ARIMA)
*[[予測分析]]
*[[放射基底関数]]

== 脚注 ==
<references/>

==参考文献==
*George Box and Gwilym M. Jenkins. ''Time Series Analysis: Forecasting and Control'', second edition. Oakland, CA: Holden-Day, 1976.
*Mills, Terence C.  ''Time Series Techniques for Economists.''  」[[Cambridge University Press]], 1990.
*Percival, Donald B. and Andrew T. Walden.  ''Spectral Analysis for Physical Applications.''  Cambridge University Press, 1993.
*Yoshitsugu Hayashi,Hiroshi Ohkama,Yoshitaka Fujiwara. ''An Estimation Method of Auto-Regressive Parameters with Time-varying Cost.'' Faculty of Enginnering, Kitami Institute of Technology, 1997.

{{統計学}}
{{DEFAULTSORT:しこかいきいとうへいきんもてる}}
[[Category:ノイズ]]
[[Category:計量経済学]]
[[Category:確率論]]
[[Category:統計学]]
[[Category:時系列分析]]
[[Category:数学に関する記事]]