長・短期記憶

長・短期記憶 (LSTM) セルはデータを連続的に処理し、長時間にたってその隠れ状態を保持することができる。

長・短期記憶（ちょう・たんききおく、テンプレート:Lang-en-short、略称: LSTM）は、深層学習（ディープラーニング）の分野において用いられる人工回帰型ニューラルネットワーク（RNN）アーキテクチャである。標準的なテンプレート:仮リンクとは異なり、LSTMは自身を「汎用計算機」（すなわち、チューリングマシンが計算可能なことを何でも計算できる）にするフィードバック結合を有する。LSTMは（画像といった）単一のデータ点だけでなく、（音声あるいは動画といった）全データ配列を処理できる。例えば、LSTMは分割されていない、つながった手書き文字認識や音声認識といった課題に適用可能である。ブルームバーグ ビジネスウィーク誌は「これらの力がLSTMを、病気の予測から作曲まで全てに使われる、ほぼ間違いなく最も商業的なAIの成果としている」と書いた。

一般的なLSTMユニットは、記憶セル、入力ゲート、出力ゲート、および忘却ゲートから構成される。記憶セルは任意の時間間隔にわたって値を記憶し、3つの「ゲート」は記憶セルを出入りする情報の流れを制御する。

LSTMネットワークは時系列データに基づく分類、テンプレート:仮リンク、予測によく適している。これは、LSTMネットワークが時系列中の重要な事象間の未知の期間の時間差となることができるためである。LSTMは、従来のRNNを訓練する際に遭遇しうる勾配爆発および消失問題に対処するために開発された。ギャップの長さに対する相対的な鈍感さが、多数の応用におけるRNNや隠れマルコフモデル、その他の系列学習法に対するLSTMの優位性であるテンプレート:Citation needed。

LSTMは2010年代まで主流の地位にあったが、2017年以降は更に高性能なTransformerという基盤モデルに取って代わられていった。

歴史

LSTMは1997年にテンプレート:仮リンクとテンプレート:仮リンクによって提唱された。Constant Error Carousel（定誤差カルーセル、CEC）ユニットの導入によって、LSTMは勾配爆発および消失問題を解決しようとする。LSTMブロックの最初の型はセル、入力ゲート、および出力ゲートを含んでいた。

1999年、テンプレート:仮リンクと彼のアドバイザーのユルゲン・シュミットフーバーとFred CumminsはLSTMアーキテクチャへ忘却ゲート（「保持ゲート」とも）を導入した。これはLSTMが自身の状態をリセットすることを可能にする。2000年、 ゲルス、シュミットフーバー、CumminsはLSTMアーキテクチャへ覗き穴（peehole）結合（セルからゲートへの結合）を追加した。加えて、出力活性化関数は削除された。

2014年、Kyunghyun Cho（조 경현）らはゲート付き回帰型ユニット（Gated recurrent unit、GRU）と呼ばれる単純化した変異型を提案した 。

その他の成功の中で、LSTMは自然言語テキスト圧縮と分割されていないつながった手書き文字認識で新記録を達成し、テンプレート:仮リンク手書き文字認識大会（2009年）で優勝した。LSTMネットワークは2013年に、古典的なテンプレート:仮リンク自然音声データセットで新記録となる音素誤り率17.7%を達成したネットワークの主要な構成要素であった。

2016年時点で、Google、Apple、マイクロソフトを含む主要なテクノロジー企業は新製品の基本要素としてLSTMを使用していた。例えば、Googleはスマートフォン上での音声認識、スマートアシスタントAllo、およびGoogle翻訳のためにLSTMを使用した。AppleはiPhone上の「Quicktype」機能、SiriのためにLSTMを使用する。AmazonはAmazon AlexaのためにLSTMを使用する。

2017年、FacebookはLSTMネットワークを使用して毎日45億回の自動翻訳を実行した。

2017年、ミシガン州立大学、IBM基礎研究所、コーネル大学の研究者らは、Knowledge Discovery and Data Mining（KDD）会議において研究発表を行った。彼らの研究は、広く使われるLSTMニューラルネットワークよりも特定のデータセットに対して優れた性能を示す新規ニューラルネットワークに関するものである。

さらに2017年、マイクロソフトは16万5千語の語彙を含むSwitchboardコーパスにおいて95.1%の認識精度に達したと報告した。この手法は「対話セッションに基づく長・短期記憶」を使用した。

着想

理論的には、古典的な（バニラな）RNNは入力配列における任意の長期依存性を追跡できる。バニラRNNの問題は本質的に計算的（あるいは実務的な）なものである。誤差逆伝播法を使ってバニラRNNを訓練する時、逆伝播される勾配は「消失」（すなわち勾配がゼロに収束する）あるいは「爆発」（すなわち無限に発散する）しうる。これは、計算がテンプレート:仮リンクを用いる過程を含むためである。LSTMユニットを用いるRNNは、LSTMユニットが勾配を「不変」のまま流れることも可能とするため、勾配消失問題を部分的に解決する。しかしながら、LSTMネットワークは勾配爆発問題にはまだ悩まされうる。

アーキテクチャ

複数のLSTMユニットのアーキテクチャが存在する。一般的なアーキテクチャは、セル（LSTMユニットの記憶部分）と大抵ゲートと呼ばれるLSTMユニット内部の情報の流れの3つの「調整器」（入力ゲート、出力ゲート、忘却ゲート）から構成される。LSTMユニットの一部の変異型はこれらのゲートの1つ以上を持たない、あるいは別のゲートを持つこともある。例えばゲート付き回帰型ユニット（GRU）は出力ゲートを持たない。

直感的には、「セル」は入力配列中の要素間の依存性を追跡するために必要である。「入力ゲート」はセルへの新たな値の流れの度合いを制御し、「忘却ゲート」はセル中に値が留まる度合いを制御し、「出力ゲート」はセル中の値がLSTMユニットの出力活性化を計算するために使われる度合いを制御する。LSTM「ゲート」の活性化関数にはテンプレート:仮リンクが使われることが多い。

LSTMゲートへの、そしてLSTMからの結合が存在し、そのうちいくつかは回帰結合（リカレント）している。訓練中に学習される必要があるこれらの結合の重みが、ゲートがどのように動作するかを決定する。

変異型

以下の方程式において、小文字の変数はベクトルを表わす。行列$W_q$および$U_q$はそれぞれ入力および回帰結合の重みを含み、添字${}_q$は、計算される活性化に依存して、入力ゲート$i$、出力ゲート$o$、忘却ゲート$f$、または記憶セル$c$になりうる。この節では、ゆえに「ベクトル表記」を使用する。そのため、例えば、$c_t\in {ℝ}^h$は単に1つのLSTMユニットの1つのセルではなく、$h$個のLSTMユニットのセルを含む。演算子$\circ$はアダマール積（要素ごとの積）を示す。

忘却ゲートを持つLSTM

忘却ゲートを持つLSTMユニットの順方向通路のための方程式のコンパクト形は以下の通りである。

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{h}_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i{x}_t+U_i{h}_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o{x}_t+U_o{h}_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c{x}_t+U_c{h}_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

上式において、初期値は$c_0=0$および$h_0=0$、を示す。添字$t$は時間ステップにインデックスを付ける。

変数

• $x_t\in {ℝ}^d$: LSTMユニットへの入力ベクトル
• $f_t\in {ℝ}^h$: 忘却ゲートの活性化ベクトル
• $i_t\in {ℝ}^h$: 入力ゲートの活性化ベクトル
• $o_t\in {ℝ}^h$: 出力ゲートの活性化ベクトル
• $h_t\in {ℝ}^h$: LSTMユニットの出力ゲートとも呼ばれる隠れ状態ベクトル
• $c_t\in {ℝ}^h$: セル状態ベクトル
• $W\in {ℝ}^{h\times d}$、$U\in {ℝ}^{h\times h}$、$b\in {ℝ}^h$: 訓練中に学習される必要がある重み行列およびバイアスベクトルのパラメータ

上付き文字$d$および$h$はそれぞれ入力要素の数および隠れユニットの数を示す。

活性化関数

• ${\sigma }_g$: シグモイド関数
• ${\sigma }_c$: 双曲線正接関数
• ${\sigma }_h$: 双曲線正接関数または、覗き穴LSTMの論文が提案しているように${\sigma }_h(x)=x$

重み行列と活性化関数を集約することで

$\begin{array}{cc}(f_t^T,i_t^T,o_t^T,c{i}_t^T{)}^T& =\sigma (W{x}_t+U{h}_{t-1}+b)\\ c_t& =f_t\circ c_{t-1}+i_t\circ c{i}_t\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

となる。この式から $c_{t-1}$ が直接回帰し、$h_{t-1}$がゲート・セルを通じて回帰していることがわかる。また入力と重みの積は時間を跨いで回帰無しに計算できることがわかる（$WX=W\left(\begin{array}{cccc}{x}_0& x_1& ...& x_n\end{array}\right)$ で一括計算が可能）。

覗き穴LSTM

入力（$i$）、出力（$o$）、および忘却（$f$）ゲートを持つ覗き穴LSTMユニット。これらのゲートのそれぞれは順伝播型（または多層）ニューラルネットワークにおける「標準的」なニューロンとして考えることができる。すなわち、それらは（活性化関数を用いて）加重和の活性化を計算する。$i_t$、$o_t$および$f_t$はそれぞれ時間ステップ$t$における入力、出力、および忘却ゲートの活性化を表わす。 記憶セル$c$から3つのゲート$i$、$o$、および$f$へ出ていく3本の矢印は「覗き穴」結合を表わす。これらの覗き穴結合は実際には時間ステップ$t-1$における記憶セル$c$の活性化の寄与（すなわち、図が示唆するように、$c_t$ではなく$c_{t-1}$の寄与）を示す。言い換えれば、ゲート$i$、$o$、および$f$は時間ステップ$t$におけるそれらの活性化（すなわち$i_t$、$o_t$および$f_t$）を計算し、時間ステップ$t-1$における記憶セル$c$の活性化（すなわち$c_{t-1}$）も考慮する。 記憶セルから出る単一の左から右への矢印は覗き穴結合ではなく、$c_t$を示す。 $\times$記号を含む小さな丸は出力間の要素毎の乗算を表わす。Sのような曲線を含む大きな丸は加重和への（シグモイド関数のような）微分可能な関数の適用を表わす。 LSTMには他にも多くの種類が存在する。

右図は覗き穴結合を持つLSTMユニット（すなわち覗き穴LSTM）の図式的な表現である。覗き穴結合によって、ゲートが定誤差カルーセル（CEC。その活性化がセル状態である）へアクセスすることが可能となる。$h_{t-1}$は使われず、ほんどの場所で$c_{t-1}$が代わりに使われる。

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{c}_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i{x}_t+U_i{c}_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o{x}_t+U_o{c}_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c{x}_t+U_c{c}_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

覗き穴畳み込みLSTM

覗き穴畳み込みLSTM。$*$は畳み込み演算子を示す。

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f*x_t+U_f*h_{t-1}+V_f\circ c_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i*x_t+U_i*h_{t-1}+V_i\circ c_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o*x_t+U_o*h_{t-1}+V_o\circ c_t+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c*x_t+U_c*h_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

訓練

LSTMを用いるRNNは、一連の訓練において、教師あり学習のやり方で訓練できる。訓練では、最適化プロセス中で必要な勾配を計算するためのテンプレート:仮リンク（Backpropagation through time、BPTT）と組み合わせて最急降下法のような最適化アルゴリズムを使って、（LSTMネットワークの出力層における）誤差の微分に比例してLSTMネットワークの個々の重みを変化させる。

標準的なRNNに対して最急降下法を使用することの問題点は、誤差勾配が重要な事象間の時間のずれの大きさにしたがって指数関数的にすばやく消失することである。これは、$W$のスペクトル半径が1よりも小さいと$\underset{n\to \mathrm{\infty }}{\lim }{W}^n=0$となるためである。

しかしながら、LSTMユニットを使うと、誤差値が出力層から逆伝播される時、誤差はLSTMユニットのセル内に留まる。この「誤差カルーセル」はLSTMユニットのゲートが値のカットオフを学習するまで、個々のゲートへ誤差を絶えずフィードバックする。

CTCスコア関数

多くの応用がLSTM RNNのスタックを使用し、訓練セット中のラベル配列の確率を最大化する重み行列を探すために、それらをテンプレート:仮リンク（CTC）によって訓練する。CTCはアラインメントと認識の両方を達成する。

代替手段

特に「教師」（すなわち訓練ラベル）が存在しない時は、Neuroevolutionまたは⽅策勾配法によってLSTM（の一部）を訓練するのが有利なことがありうる。

成功

LSTMユニットを持つRNNを教師なしで訓練した複数の成功例がある。

2018年、ビル・ゲイツは、OpenAIによって開発されたボットがゲームDota 2で人間を破ることができた時、これを「人工知能の進歩における巨大な一里塚」と呼んだ。OpenAI Fiveは5つの独立した、しかし協調したニューラルネットワークから成る。個々のネットワークは教師なしで方策勾配法によって訓練され、現在のゲーム状態を見て、複数の可能な動作から動作を出す単層の1024ユニットLSTMを含む 。

2018年、OpenAIはかつてないほどの器用さで物体を巧みに扱う人間のようなロボットハンドを制御するために方策勾配法によって同様のLSTMを訓練した。

2019年、DeepMindのプログラムAlphaStarは複雑なビデオゲームスタークラフトに秀でるためにディープなLSTMコアを使用した。これは、人工汎用知能へ向けた重要な前進と見なされた。

特性

記憶力

単純RNNと比較してより長い系列の情報を保持する能力を持つ。一方、長期記憶を評価するCopyingタスクでは系列長200以上での学習に失敗することが知られている。

応用

LSTMの応用には以下の事柄が含まれる。

• テンプレート:仮リンク
• 時系列予想
• 音声認識
• リズム学習
• 作曲
• 文法学習
• 手書き文字認識
• 人物行動認識
• 手話学習
• タンパク質相同性検出
• タンパク質の細胞内局在の予測
• 時系列異常検出
• ビジネスプロセス管理の分野におけるいくつかの予測課題
• 医療パスにおける予測
• テンプレート:仮リンク
• テンプレート:仮リンク

関連項目

• テンプレート:仮リンク
• 回帰型ニューラルネットワーク
• ディープラーニング
• ゲート付き回帰型ユニット
• テンプレート:仮リンク
• 長期増強
• テンプレート:仮リンク
• 時系列

外部リンク

• Recurrent Neural Networks with over 30 LSTM papers by Jürgen Schmidhuber's group at IDSIA
• テンプレート:Cite web
• テンプレート:Cite journal
• テンプレート:Cite web
  • original with two chapters devoted to explaining recurrent neural networks, especially LSTM.
• テンプレート:Cite web
• テンプレート:Cite web
• テンプレート:Github