時間差分学習

テンプレート:Machine learning bar 時間差分学習（じかんさぶんがくしゅう、テンプレート:Lang-en-short）やTD学習とは、現在の状態価値関数の推定からブートストラップで学習するモデルフリーの強化学習の手法。モンテカルロ法のように環境からサンプルを取り、動的計画法のように現在の推定に基づいて状態価値関数を更新する。

状態価値関数 $V(s)$ は、現在および将来に得られる報酬（reward）になるように学習させる。ただし、将来分の報酬は、経済学でも使われる割引率（discount rate）をかけた物を使用する。これを割引収益（discounted return）と呼ぶ。

考え方自体は少なくとも1959年の時点でArthur Samuelがチェッカーをプレーする人工知能のプログラムで使用しているが、temporal difference learningという呼び方は1988年にリチャード・サットンが命名している。

アルゴリズム

状態 $S_t$ のエージェントが行動 $A_t$ を選び、報酬 $R_{t+1}$ を得て、状態が $S_{t+1}$ に遷移したとする。このとき状態価値関数 $V(S_t)$ を次の式で更新する。

$V(S_t)\leftarrow (1-\alpha )V(S_t)+\alpha [R_{t+1}+\gamma V(S_{t+1})]$

ここで $\alpha$ は学習率といい、$0<\alpha <1$ とする。$\gamma$ は割引率といい、$0<\gamma <1$ な定数である。

行動 $A_t$ は、状態価値関数を使用して選択する。

更新式は

$V(S_t)\leftarrow V(S_t)+\alpha [R_{t+1}+\gamma V(S_{t+1})-V(S_t)]$

とも書けるが、$R_{t+1}+\gamma V(S_{t+1})-V(S_t)$ をTD誤差（TD error）と呼ぶ。

関連項目

• 強化学習
• Q学習
• SARSA法