長・短期記憶のソースを表示

{{Machine learning bar}}

[[File:The LSTM cell.png|thumb|right|upright|長・短期記憶 (LSTM) セルはデータを連続的に処理し、長時間にたってその隠れ状態を保持することができる。]]

'''長・短期記憶'''（ちょう・たんききおく、{{lang-en-short|Long short-term memory}}、略称: '''LSTM'''）は、[[深層学習]]（ディープラーニング）の分野において用いられる人工[[回帰型ニューラルネットワーク]]（RNN）[[コンピュータ・アーキテクチャ|アーキテクチャ]]である<ref name="lstm1997">{{Cite journal 
 | author = Sepp Hochreiter
 | author2 = Jürgen Schmidhuber
 | title = Long short-term memory
 | journal = Neural Computation
 | volume = 9
 | issue = 8
 | pages = 1735–1780
 | year = 1997
 | url = https://www.researchgate.net/publication/13853244
 | doi=10.1162/neco.1997.9.8.1735
 | pmid=9377276
}}</ref>。標準的な{{仮リンク|順伝播型ニューラルネットワーク|en|feedforward neural network}}とは異なり、LSTMは自身を「汎用計算機」（すなわち、[[チューリングマシン]]が計算可能なことを何でも計算できる）にするフィードバック結合を有する<ref name="Siegelmann92">{{cite book |last1=Siegelmann |first1=Hava T. |last2=Sontag |first2=Eduardo D. |title=On the Computational Power of Neural Nets |journal=ACM |date=1992 |volume=COLT '92 |pages=440–449 |doi=10.1145/130385.130432 |isbn=978-0897914970 }}</ref>。LSTMは（画像といった）単一のデータ点だけでなく、（音声あるいは動画といった）全データ配列を処理できる。例えば、LSTMは分割されていない、つながった[[手書き文字認識]]<ref>{{cite journal | last1 = Graves | first1 = A. | authorlink6 = | last2 = Liwicki | first2 = M. | last3 = Fernandez | first3 = S. | last4 = Bertolami | first4 = R. | last5 = Bunke | first5 = H. | last6 = Schmidhuber | first6 = J. | title = A Novel Connectionist System for Improved Unconstrained Handwriting Recognition | url = http://www.idsia.ch/~juergen/tpami_2008.pdf | journal = IEEE Transactions on Pattern Analysis and Machine Intelligence | volume = 31 | issue = 5| pages = 855–868 | year = 2009 | doi=10.1109/tpami.2008.137| pmid = 19299860 | citeseerx = 10.1.1.139.4502 }}</ref>や[[音声認識]]<ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|last=Sak|first=Hasim|last2=Senior|first2=Andrew|date=2014|website=|archive-url=|archive-date=|dead-url=|access-date=|last3=Beaufays|first3=Francoise|accessdate=2019-04-03}}</ref><ref name="liwu2015">{{cite arxiv|last=Li|first=Xiangang|last2=Wu|first2=Xihong|date=2014-10-15|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|eprint=1410.4281|class=cs.CL}}</ref>といった課題に適用可能である。[[ブルームバーグ ビジネスウィーク]]誌は「これらの力がLSTMを、病気の予測から作曲まで全てに使われる、ほぼ間違いなく最も商業的なAIの成果としている」と書いた<ref name="bloomberg2018">{{Cite news|url=https://www.bloomberg.com/news/features/2018-05-15/google-amazon-and-facebook-owe-j-rgen-schmidhuber-a-fortune|title=Quote: These powers make LSTM arguably the most commercial AI achievement, used for everything from predicting diseases to composing music.|last=Vance|first=Ashlee|date=May 15, 2018|work=Bloomberg Business Week|access-date=2019-01-16}}</ref>。

一般的なLSTMユニットは、'''記憶セル'''、'''入力ゲート'''、'''出力ゲート'''、および'''忘却ゲート'''から構成される。記憶セルは任意の時間間隔にわたって値を記憶し、3つの「ゲート」は記憶セルを出入りする情報の流れを制御する。

LSTMネットワークは時系列データに基づく[[分類 (統計学)|分類]]、{{仮リンク|電子データ処理|en|Electronic data processing|label=処理}}、[[予言|予測]]によく適している。これは、LSTMネットワークが時系列中の重要な事象間の未知の期間の時間差となることができるためである。LSTMは、従来のRNNを訓練する際に遭遇しうる[[勾配消失問題|勾配爆発および消失問題]]に対処するために開発された。ギャップの長さに対する相対的な鈍感さが、多数の応用におけるRNNや[[隠れマルコフモデル]]、その他の系列学習法に対するLSTMの優位性である{{Citation needed|date=October 2017}}。

LSTMは[[2010年代]]まで主流の地位にあったが、[[2017年]]以降は更に高性能な[[Transformer (機械学習モデル)|Transformer]]という基盤モデルに取って代わられていった。

== 歴史 ==
LSTMは1997年に{{仮リンク|ゼップ・ホッフライター|en|Sepp Hochreiter}}と{{仮リンク|ユルゲン・シュミットフーバー|en|Jürgen Schmidhuber}}によって提唱された<ref name="lstm1997"/>。Constant Error Carousel（定誤差カルーセル、CEC）ユニットの導入によって、LSTMは勾配爆発および消失問題を解決しようとする。LSTMブロックの最初の型はセル、入力ゲート、および出力ゲートを含んでいた<ref name="ASearchSpaceOdyssey"/>。

1999年、{{仮リンク|フェリックス・ゲルス|en|Felix Gers}}と彼のアドバイザーのユルゲン・シュミットフーバーとFred CumminsはLSTMアーキテクチャへ忘却ゲート（「保持ゲート」とも）を導入した<ref name="lstm1999">{{Cite journal 
 | author = Felix Gers
 | author2 = Jürgen Schmidhuber
 | author3 = Fred Cummins
 | title = Learning to Forget: Continual Prediction with LSTM
 | journal = Proc. ICANN'99, IEE, London
 | pages = 850–855
 | year = 1999
 | url = https://ieeexplore.ieee.org/document/818041
}}</ref>。これはLSTMが自身の状態をリセットすることを可能にする<ref name="ASearchSpaceOdyssey">{{Cite journal|author1=Klaus Greff |author2=Rupesh Kumar Srivastava |author3=Jan Koutník |author4=Bas R. Steunebrink |author5=Jürgen Schmidhuber |arxiv=1503.04069 |title=LSTM: A Search Space Odyssey |journal=IEEE Transactions on Neural Networks and Learning Systems |volume=28 |issue=10 |pages=2222–2232 |date=2015 |doi=10.1109/TNNLS.2016.2582924 |pmid=27411231 }}</ref>。2000年、 ゲルス、シュミットフーバー、CumminsはLSTMアーキテクチャへ覗き穴（peehole）結合（セルからゲートへの結合）を追加した<ref name="lstm2000">{{Cite journal 
 | author = Felix A. Gers
 | author2 = Jürgen Schmidhuber
 | author3 = Fred Cummins
 | title = Learning to Forget: Continual Prediction with LSTM
 | journal = [[Neural Computation (journal)|Neural Computation]]
 | volume = 12
 | issue = 10
 | pages = 2451–2471
 | year = 2000
 | doi=10.1162/089976600300015015
| citeseerx = 10.1.1.55.5709
 }}</ref>。加えて、出力活性化関数は削除された<ref name="ASearchSpaceOdyssey"/>。

2014年、Kyunghyun Cho（조 경현）らは[[ゲート付き回帰型ユニット]]（Gated recurrent unit、GRU）と呼ばれる単純化した変異型を提案した<ref>{{cite arXiv |last1=Cho |first1=Kyunghyun|last2=van Merrienboer|first2=Bart|last3=Gulcehre|first3=Caglar|last4=Bahdanau|first4=Dzmitry|last5=Bougares|first5=Fethi|last6=Schwenk|first6=Holger|last7=Bengio|first7=Yoshua|date=2014 |title=Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation |eprint=1406.1078|class=cs.CL}}</ref> 。

その他の成功の中で、LSTMは自然言語テキスト圧縮<ref>{{Cite web|url=http://www.mattmahoney.net/dc/text.html#1218|title=The Large Text Compression Benchmark|language=en-US|access-date=2017-01-13}}</ref>と分割されていないつながった手書き文字認識<ref>{{Cite journal|last=Graves|first=A.|last2=Liwicki|first2=M.|last3=Fernández|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=May 2009|title=A Novel Connectionist System for Unconstrained Handwriting Recognition|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|doi=10.1109/tpami.2008.137|pmid=19299860|issn=0162-8828|citeseerx=10.1.1.139.4502}}</ref>で新記録を達成し、{{仮リンク|文書画像の解析・認識に関する国際会議|en|International Conference on Document Analysis and Recognition|label=IDCAR}}手書き文字認識大会（2009年）で優勝した。LSTMネットワークは2013年に、古典的な{{仮リンク| TIMIT|en| TIMIT}}自然音声データセットで新記録となる[[音素]]誤り率17.7%を達成したネットワークの主要な構成要素であった<ref>{{cite arxiv|last=Graves|first=Alex|last2=Mohamed|first2=Abdel-rahman|last3=Hinton|first3=Geoffrey|date=2013-03-22|title=Speech Recognition with Deep Recurrent Neural Networks|eprint=1303.5778|class=cs.NE}}</ref>。

2016年時点で、[[Google]]、[[Apple]]、[[マイクロソフト]]を含む主要なテクノロジー企業は新製品の基本要素としてLSTMを使用していた<ref>{{Cite journal|url=https://www.wired.com/2016/06/apple-bringing-ai-revolution-iphone/|title=With QuickType, Apple wants to do more than guess your next text. It wants to give you an AI.|journal=WIRED|language=en-US|access-date=2016-06-16|date=2016-06-14}}</ref>。例えば、Googleは[[スマートフォン]]上での音声認識<ref name="Beau15">{{Cite news|url=http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html|title=The neural networks behind Google Voice transcription|last=Beaufays|first=Françoise|date=August 11, 2015|work=Research Blog|access-date=2017-06-27}}</ref><ref name="GoogleVoiceSearch">{{Cite news|url=http://googleresearch.blogspot.co.uk/2015/09/google-voice-search-faster-and-more.html|title=Google voice search: faster and more accurate|last=Sak|first=Haşim|date=September 24, 2015|work=Research Blog|access-date=2017-06-27|last2=Senior|first2=Andrew|language=en-US|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|last5=Schalkwyk|first5=Johan}}</ref>、スマートアシスタントAllo<ref name="GoogleAllo">{{Cite news|url=http://googleresearch.blogspot.co.at/2016/05/chat-smarter-with-allo.html|title=Chat Smarter with Allo|last=Khaitan|first=Pranav|date=May 18, 2016|work=Research Blog|access-date=2017-06-27}}</ref>、および[[Google翻訳]]<ref name="GoogleTranslate">{{cite arxiv|last=Wu|first=Yonghui|last2=Schuster|first2=Mike|last3=Chen|first3=Zhifeng|last4=Le|first4=Quoc V.|last5=Norouzi|first5=Mohammad|last6=Macherey|first6=Wolfgang|last7=Krikun|first7=Maxim|last8=Cao|first8=Yuan|last9=Gao|first9=Qin|date=2016-09-26|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|eprint=1609.08144|class=cs.CL}}</ref><ref name="WiredGoogleTranslate">{{Cite journal|url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|title=An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED|last=Metz|first=Cade|date=September 27, 2016|journal=Wired|access-date=2017-06-27}}</ref>のためにLSTMを使用した。Appleは[[iPhone]]上の「Quicktype」機能<ref name="AppleQuicktype">{{Cite web|url=https://www.theinformation.com/apples-machines-can-learn-too|title=Apple's Machines Can Learn Too|last=Efrati|first=Amir|date=June 13, 2016|website=The Information|access-date=2017-06-27}}</ref><ref name="AppleQuicktype2">{{Cite news|url=http://www.zdnet.com/article/ai-big-data-and-the-iphone-heres-how-apple-plans-to-protect-your-privacy|title=iPhone, AI and big data: Here's how Apple plans to protect your privacy {{!}} ZDNet|last=Ranger|first=Steve|date=June 14, 2016|work=ZDNet|access-date=2017-06-27}}</ref>、[[Siri]]<ref name="AppleSiri">{{Cite web|url=http://bgr.com/2016/06/13/ios-10-siri-third-party-apps/|title=iOS 10: Siri now works in third-party apps, comes with extra AI features|last=Smith|first=Chris|date=2016-06-13|website=BGR|access-date=2017-06-27}}</ref>のためにLSTMを使用する。[[Amazon.com|Amazon]]は[[Amazon Alexa]]のためにLSTMを使用する<ref name="AmazonAlexa">{{Cite web|url=http://www.allthingsdistributed.com/2016/11/amazon-ai-and-alexa-for-all-aws-apps.html|title=Bringing the Magic of Amazon AI and Alexa to Apps on AWS. - All Things Distributed|last=Vogels|first=Werner|date=30 November 2016|website=www.allthingsdistributed.com|access-date=2017-06-27}}</ref>。

2017年、[[Facebook]]はLSTMネットワークを使用して毎日45億回の自動翻訳を実行した<ref name="FacebookTranslate">{{Cite web|url=https://www.theverge.com/2017/8/4/16093872/facebook-ai-translations-artificial-intelligence|title=Facebook's translations are now powered completely by AI|last=Ong|first=Thuy|date=4 August 2017|website=www.allthingsdistributed.com|access-date=2019-02-15}}</ref>。

2017年、[[ミシガン州立大学]]、[[IBM基礎研究所]]、[[コーネル大学]]の研究者らは、Knowledge Discovery and Data Mining（KDD）会議において研究発表を行った<ref>{{cite web|url=http://biometrics.cse.msu.edu/Publications/MachineLearning/Baytasetal_PatientSubtypingViaTimeAwareLSTMNetworks.pdf | title= Patient Subtyping via Time-Aware LSTM Networks |website= msu.edu |accessdate= 21 Nov 2018}}</ref><ref>{{cite web |url= http://www.kdd.org/kdd2017/papers/view/patient-subtyping-via-time-aware-lstm-networks |title= Patient Subtyping via Time-Aware LSTM Networks |website= Kdd.org |accessdate= 24 May 2018}}</ref><ref>{{cite web |url= http://www.kdd.org |title=SIGKDD |website= Kdd.org |accessdate= 24 May 2018}}</ref>。彼らの研究は、広く使われるLSTMニューラルネットワークよりも特定のデータセットに対して優れた性能を示す新規ニューラルネットワークに関するものである。

さらに2017年、マイクロソフトは16万5千語の語彙を含むSwitchboardコーパスにおいて95.1%の認識精度に達したと報告した。この手法は「対話セッションに基づく長・短期記憶<!--dialog session-based long-short-term memory-->」を使用した<ref>{{Cite web|url=http://newatlas.com/microsoft-speech-recognition-equals-humans/50999|title=Microsoft's speech recognition system is now as good as a human|last=Haridy|first=Rich|date=August 21, 2017|website=newatlas.com|access-date=2017-08-27}}</ref>。

== 着想 ==
理論的には、古典的な（[[バニラ (ソフトウェア)|バニラ]]な）[[回帰型ニューラルネットワーク|RNN]]は入力配列における任意の長期依存性を追跡できる。バニラRNNの問題は本質的に計算的（あるいは実務的な）なものである。[[誤差逆伝播法]]を使ってバニラRNNを訓練する時、逆伝播される勾配は「消失」（すなわち勾配がゼロに収束する）あるいは「爆発」（すなわち無限に発散する）しうる。これは、計算が{{仮リンク|丸め誤差|en|Round-off error|label=有限精度数|redirect=1}}を用いる過程を含むためである。LSTMユニットを用いるRNNは、LSTMユニットが勾配を「不変」のまま流れることも可能とするため、勾配消失問題を部分的に解決する。しかしながら、LSTMネットワークは勾配爆発問題にはまだ悩まされうる<ref>{{cite web |last1=bro |first1=n |title=Why can RNNs with LSTM units also suffer from "exploding gradients"? |url=https://stats.stackexchange.com/q/320919/82135 |website=Cross Validated |accessdate=25 December 2018}}</ref>。

== アーキテクチャ ==
複数のLSTMユニットのアーキテクチャが存在する。一般的なアーキテクチャは、'''セル'''（LSTMユニットの記憶部分）と大抵ゲートと呼ばれるLSTMユニット内部の情報の流れの3つの「調整器」（'''入力ゲート'''、'''出力ゲート'''、'''忘却ゲート'''）から構成される。LSTMユニットの一部の変異型はこれらのゲートの1つ以上を持たない、あるいは別のゲートを持つこともある。例えば[[ゲート付き回帰型ユニット]]（GRU）は出力ゲートを持たない。

直感的には、「セル」は入力配列中の要素間の依存性を追跡するために必要である。「入力ゲート」はセルへの新たな値の流れの度合いを制御し、「忘却ゲート」はセル中に値が留まる度合いを制御し、「出力ゲート」はセル中の値がLSTMユニットの出力活性化を計算するために使われる度合いを制御する。LSTM「ゲート」の[[活性化関数]]には{{仮リンク|ロジスティック関数|en|logistic function|preserve=1}}が使われることが多い。

LSTMゲートへの、そしてLSTMからの結合が存在し、そのうちいくつかは回帰結合（リカレント）している。[[教師あり学習|訓練]]中に学習される必要があるこれらの結合の重みが、ゲートがどのように動作するかを決定する。

== 変異型 ==
以下の方程式において、小文字の変数はベクトルを表わす。行列<math>W_q</math>および<math>U_q</math>はそれぞれ入力および回帰結合の重みを含み、添字<math>_q</math>は、計算される活性化に依存して、入力ゲート<math>i</math>、出力ゲート<math>o</math>、忘却ゲート<math>f</math>、または記憶セル<math>c</math>になりうる。この節では、ゆえに「ベクトル表記」を使用する。そのため、例えば、<math>c_t \in \mathbb{R}^{h}</math>は単に1つのLSTMユニットの1つのセルではなく、<math>h</math>個のLSTMユニットのセルを含む。演算子<math>\circ</math>は[[アダマール積]]（要素ごとの積）を示す。

=== 忘却ゲートを持つLSTM ===
忘却ゲートを持つLSTMユニットの順方向通路のための方程式のコンパクト形は以下の通りである<ref name="lstm1997" /><ref name="lstm2000"/>。
:<math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} h_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} h_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} h_{t-1} + b_o) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} x_t + U_{c} h_{t-1} + b_c) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

上式において、初期値は<math>c_0 = 0</math>および<math>h_0 = 0</math>、を示す。添字<math>t</math>は時間ステップにインデックスを付ける。

==== 変数 ====
*<math>x_t \in \mathbb{R}^{d}</math>: LSTMユニットへの入力ベクトル
*<math>f_t \in \mathbb{R}^{h}</math>: 忘却ゲートの活性化ベクトル
*<math>i_t \in \mathbb{R}^{h}</math>: 入力ゲートの活性化ベクトル
*<math>o_t \in \mathbb{R}^{h}</math>: 出力ゲートの活性化ベクトル
*<math>h_t \in \mathbb{R}^{h}</math>: LSTMユニットの出力ゲートとも呼ばれる隠れ状態ベクトル
*<math>c_t \in \mathbb{R}^{h}</math>: セル状態ベクトル
*<math>W \in \mathbb{R}^{h \times d}</math>、<math>U \in \mathbb{R}^{h \times h} </math>、<math>b \in \mathbb{R}^{h}</math>: 訓練中に学習される必要がある重み行列およびバイアスベクトルのパラメータ

上付き文字<math>d</math>および<math>h</math>はそれぞれ入力要素の数および隠れユニットの数を示す。

==== 活性化関数 ====
* <math>\sigma_g</math>: [[シグモイド関数]]
* <math>\sigma_c</math>: [[双曲線関数|双曲線正接関数]]
* <math>\sigma_h</math>: 双曲線正接関数または、覗き穴LSTMの論文<ref name="peepholeLSTM"/><ref name="peephole2002"/>が提案しているように<math>\sigma_h(x) = x</math>
重み行列と活性化関数を集約することで

<math>
\begin{align}
(f_t^T, i_t^T, o_t^T, ci_t^T)^T &= \sigma(W x_t + U h_{t-1} + b) \\
c_t &= f_t \circ c_{t-1} + i_t \circ ci_t \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

となる。この式から <math>c_{t-1}</math> が直接回帰し、<math>h_{t-1}</math>がゲート・セルを通じて回帰していることがわかる。また入力と重みの積は時間を跨いで回帰無しに計算できることがわかる（<math> WX = W \bigl( \begin{smallmatrix} x_0 & x_1 & ... & x_n \end{smallmatrix} \bigr)</math> で一括計算が可能）。

=== 覗き穴LSTM ===

[[File:Peephole_Long_Short-Term_Memory.svg|300px|thumbnail|入力（<math>i</math>）、出力（<math>o</math>）、および忘却（<math>f</math>）ゲートを持つ覗き穴LSTMユニット。これらのゲートのそれぞれは順伝播型（または多層）ニューラルネットワークにおける「標準的」なニューロンとして考えることができる。すなわち、それらは（活性化関数を用いて）加重和の活性化を計算する。<math>i_t</math>、<math>o_t</math>および<math>f_t</math>はそれぞれ時間ステップ<math>t</math>における入力、出力、および忘却ゲートの活性化を表わす。

記憶セル<math>c</math>から3つのゲート<math>i</math>、<math>o</math>、および<math>f</math>へ出ていく3本の矢印は「覗き穴」結合を表わす。これらの覗き穴結合は実際には時間ステップ<math>t-1</math>における記憶セル<math>c</math>の活性化の寄与（すなわち、図が示唆するように、<math>c_{t}</math>ではなく<math>c_{t-1}</math>の寄与）を示す。言い換えれば、ゲート<math>i</math>、<math>o</math>、および<math>f</math>は時間ステップ<math>t</math>におけるそれらの活性化（すなわち<math>i_t</math>、<math>o_t</math>および<math>f_t</math>）を計算し、時間ステップ<math>t - 1</math>における記憶セル<math>c</math>の活性化（すなわち<math>c_{t-1}</math>）も考慮する。

記憶セルから出る単一の左から右への矢印は覗き穴結合ではなく、<math>c_{t}</math>を示す。

<math>\times</math>記号を含む小さな丸は出力間の要素毎の乗算を表わす。''S''のような曲線を含む大きな丸は加重和への（シグモイド関数のような）微分可能な関数の適用を表わす。

LSTMには他にも多くの種類が存在する<ref name="ASearchSpaceOdyssey">{{Cite journal|author1=Klaus Greff |author2=Rupesh Kumar Srivastava |author3=Jan Koutník |author4=Bas R. Steunebrink |author5=Jürgen Schmidhuber |arxiv=1503.04069 |title=LSTM: A Search Space Odyssey |journal=IEEE Transactions on Neural Networks and Learning Systems |volume=28 |issue=10 |pages=2222–2232 |date=2015 |doi=10.1109/TNNLS.2016.2582924 |pmid=27411231 }}</ref>。]]

右図は覗き穴結合を持つLSTMユニット（すなわち覗き穴LSTM）の図式的な表現である<ref name="peepholeLSTM"/><ref name="peephole2002"/>。覗き穴結合によって、ゲートが定誤差カルーセル（CEC。その活性化がセル状態である）へアクセスすることが可能となる<ref>{{Cite journal|last=Gers|first=F. A.|last2=Schmidhuber|first2=E.|date=November 2001|title=LSTM recurrent networks learn simple context-free and context-sensitive languages|url=ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|pmid=18249962|issn=1045-9227|via=}}</ref>。<math>h_{t-1}</math>は使われず、ほんどの場所で<math>c_{t-1}</math>が代わりに使われる。

:<math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} c_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} c_{t-1} + b_o) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} x_t + U_{c} c_{t-1} + b_c) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

=== 覗き穴畳み込みLSTM ===
覗き穴[[畳み込みニューラルネットワーク|畳み込み]]LSTM<ref>{{Cite journal 
 | author = Xingjian Shi
 | author2 = Zhourong Chen
 | author3 = Hao Wang
 | author4 = Dit-Yan Yeung
 | author5 = Wai-kin Wong
 | author6 = Wang-chun Woo
 | title = Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
 | journal = Proceedings of the 28th International Conference on Neural Information Processing Systems
 | pages = 802–810
 | year = 2015
 | arxiv = 1506.04214
 | bibcode = 2015arXiv150604214S
 }}</ref>。<math>*</math>は[[畳み込み]]演算子を示す。
:<math>
\begin{align}
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \circ c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \circ c_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \circ c_{t} + b_o) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

== 訓練 ==
LSTMを用いるRNNは、一連の訓練において、教師あり学習のやり方で訓練できる。訓練では、最適化プロセス中で必要な勾配を計算するための{{仮リンク|通時的誤差逆伝播法|en|Backpropagation through time}}（Backpropagation through time、BPTT）と組み合わせて[[最急降下法]]のような最適化アルゴリズムを使って、（LSTMネットワークの出力層における）誤差の微分に比例してLSTMネットワークの個々の重みを変化させる。

標準的なRNNに対して最急降下法を使用することの問題点は、誤差勾配が重要な事象間の時間のずれの大きさにしたがって指数関数的にすばやく消失することである。これは、<math>W</math>の[[スペクトル半径]]が1よりも小さいと<math>\lim_{n \to \infty}W^n = 0</math>となるためである<ref>S. Hochreiter. Untersuchungen zu dynamischen neuronalen Netzen. Diploma thesis, Institut f. Informatik, Technische Univ. Munich, 1991.</ref><ref name=gradf>{{Cite book|chapterurl=https://www.researchgate.net/publication/2839938|chapter=Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)|last=Hochreiter|first=S.|first2=Y. |last2=Bengio|first3=P. |last3=Frasconi |first4=J. |last4=Schmidhuber|editor-first1=S. C. |editor-last1=Kremer and |editor-first2=J. F. |editor-last2=Kolen |title=A Field Guide to Dynamical Recurrent Neural Networks.|date=2001|publisher=IEEE Press}}</ref>。

しかしながら、LSTMユニットを使うと、誤差値が出力層から逆伝播される時、誤差はLSTMユニットのセル内に留まる。この「誤差カルーセル」はLSTMユニットのゲートが値のカットオフを学習するまで、個々のゲートへ誤差を絶えずフィードバックする。

=== CTCスコア関数===
多くの応用がLSTM RNNのスタックを使用し<ref name="fernandez2007">{{Cite journal |last=Fernández |first=Santiago |last2=Graves |first2=Alex |last3=Schmidhuber |first3=Jürgen |date=2007 |title=Sequence labelling in structured domains with hierarchical recurrent neural networks |citeseerx=10.1.1.79.1887 |journal=Proc. 20th Int. Joint Conf. On Artificial In℡ligence, Ijcai 2007 |pages=774–779}}</ref>、訓練セット中のラベル配列の確率を最大化する重み行列を探すために、それらを{{仮リンク|コネクショニスト時系列分類|en|Connectionist Temporal Classification}}（CTC）によって訓練する<ref name="graves2006">{{Cite journal |last=Graves |first=Alex |last2=Fernández |first2=Santiago |last3=Gomez |first3=Faustino |date=2006 |title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks |citeseerx=10.1.1.75.6306 |journal=In Proceedings of the International Conference on Machine Learning, ICML 2006 |pages=369–376}}</ref>。CTCはアラインメントと認識の両方を達成する。

=== 代替手段 ===
特に「教師」（すなわち訓練ラベル）が存在しない時は、[[Neuroevolution]]<ref name="wierstra2005" /><!--neuroevolution-->または⽅策勾配法<!--policy gradient methods-->によってLSTM（の一部）を訓練するのが有利なことがありうる。

==== 成功 ====
LSTMユニットを持つRNNを教師なしで訓練した複数の成功例がある。

2018年、[[ビル・ゲイツ]]は、[[OpenAI]]によって開発された[[ボット (ゲーム)|ボット]]がゲーム[[Dota 2]]で人間を破ることができた時、これを「人工知能の進歩における巨大な一里塚」と呼んだ<ref name="OpenAIfive">{{Cite news|url=https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69|title=The Science Behind OpenAI Five that just Produced One of the Greatest Breakthrough in the History of AI|last=Rodriguez|first=Jesus|date=July 2, 2018|work=Towards Data Science|access-date=2019-01-15}}</ref>。OpenAI Fiveは5つの独立した、しかし協調したニューラルネットワークから成る。個々のネットワークは教師なしで方策勾配法によって訓練され、現在のゲーム状態を見て、複数の可能な動作から動作を出す単層の1024ユニットLSTMを含む<ref name="OpenAIfive" /> 。

2018年、OpenAIはかつてないほどの器用さで物体を巧みに扱う人間のようなロボットハンドを制御するために方策勾配法によって同様のLSTMを訓練した<ref name="OpenAIhand">{{Cite news|url=https://blog.openai.com/learning-dexterity/|title=Learning Dexterity|date=July 30, 2018|work=OpenAI Blog|access-date=2019-01-15}}</ref>。

2019年、[[DeepMind]]のプログラムAlphaStarは複雑なビデオゲーム[[スタークラフト]]に秀でるためにディープなLSTMコアを使用した<ref name="alphastar">{{Cite news|url=https://medium.com/mlmemoirs/deepminds-ai-alphastar-showcases-significant-progress-towards-agi-93810c94fbe9|title=DeepMind’s AI, AlphaStar Showcases Significant Progress Towards AGI|last=Stanford|first=Stacy|date=January 25, 2019|work=Medium ML Memoirs|access-date=2019-01-15}}</ref>。これは、人工汎用知能へ向けた重要な前進と見なされた<ref name="alphastar" />。

== 特性 ==

=== 記憶力 ===
単純RNNと比較してより長い系列の情報を保持する能力を持つ。一方、長期記憶を評価する[[回帰型ニューラルネットワーク#Copying%E3%82%BF%E3%82%B9%E3%82%AF|Copyingタスク]]では系列長200以上での学習に失敗することが知られている<ref>" The LSTM is able to beat the baseline only for 100 times steps." Arjovsky, et al. (2015). ''[[arxiv:1511.06464|Unitary Evolution Recurrent Neural Networks]]''.</ref>。

== 応用 ==
LSTMの応用には以下の事柄が含まれる。

*{{仮リンク|ロボット制御|en|Robot control}}<ref>{{Cite book|last=Mayer|first=H.|last2=Gomez|first2=F.|last3=Wierstra|first3=D.|last4=Nagy|first4=I.|last5=Knoll|first5=A.|last6=Schmidhuber|first6=J.|date=October 2006|title=A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks|journal=2006 IEEE/RSJ International Conference on Intelligent Robots and Systems|pages=543–548|doi=10.1109/IROS.2006.282190|isbn=978-1-4244-0258-8|citeseerx=10.1.1.218.3399}}</ref>
*[[時系列|時系列予想]]<ref name="wierstra2005" >{{Cite journal|last=Wierstra|first=Daan|last2=Schmidhuber|first2=J.|last3=Gomez|first3=F. J.|date=2005|title=Evolino: Hybrid Neuroevolution/Optimal Linear Search for Sequence Learning|url=https://www.academia.edu/5830256|journal=Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI), Edinburgh|volume=|pages=853–858|via=}}</ref>
*[[音声認識]]<ref>{{cite journal | last1 = Graves | first1 = A. | last2 = Schmidhuber | first2 = J. | year = 2005 | title = Framewise phoneme classification with bidirectional LSTM and other neural network architectures | url = | journal = Neural Networks | volume = 18 | issue = 5–6| pages = 602–610 | doi=10.1016/j.neunet.2005.06.042| pmid = 16112549 | citeseerx = 10.1.1.331.5800 }}</ref><ref>{{Cite book|last=Fernández|first=Santiago|last2=Graves|first2=Alex|last3=Schmidhuber|first3=Jürgen|date=2007|title=An Application of Recurrent Neural Networks to Discriminative Keyword Spotting|url=http://dl.acm.org/citation.cfm?id=1778066.1778092|journal=Proceedings of the 17th International Conference on Artificial Neural Networks|series=ICANN'07|location=Berlin, Heidelberg|publisher=Springer-Verlag|pages=220–229|isbn=978-3540746935}}</ref><ref name="ReferenceA">{{cite journal|last2=Mohamed|first2=Abdel-rahman|last3=Hinton|first3=Geoffrey|date=2013|title=Speech Recognition with Deep Recurrent Neural Networks|journal=Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on|pages=6645–6649|last1=Graves|first1=Alex}}</ref>
*リズム学習<ref name="peephole2002">{{cite journal | last1 = Gers | first1 = F. | last2 = Schraudolph | first2 = N. | last3 = Schmidhuber | first3 = J. | year = 2002 | title = Learning precise timing with LSTM recurrent networks | url = http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf | journal = Journal of Machine Learning Research | volume = 3 | issue = | pages = 115–143 }}</ref>
*作曲<ref>{{Cite book|last=Eck|first=Douglas|last2=Schmidhuber|first2=Jürgen|date=2002-08-28|title=Learning the Long-Term Structure of the Blues|journal=Artificial Neural Networks — ICANN 2002|volume=2415|publisher=Springer, Berlin, Heidelberg|pages=284–289|doi=10.1007/3-540-46084-5_47|isbn=978-3540460848|series=Lecture Notes in Computer Science|citeseerx=10.1.1.116.3620}}</ref>
*文法学習<ref>{{cite journal | last1 = Schmidhuber | first1 = J. | last2 = Gers | first2 = F. | last3 = Eck | first3 = D. | last4 = Schmidhuber | first4 = J. | last5 = Gers | first5 = F. | year = 2002 | title = Learning nonregular languages: A comparison of simple recurrent networks and LSTM | url = | journal = Neural Computation | volume = 14 | issue = 9| pages = 2039–2041 | doi=10.1162/089976602320263980| pmid = 12184841 | citeseerx = 10.1.1.11.7369 }}</ref><ref name="peepholeLSTM">{{cite journal | last1 = Gers | first1 = F. A. | last2 = Schmidhuber | first2 = J. | year = 2001 | title = LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages | url = ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf | journal = IEEE Transactions on Neural Networks | volume = 12 | issue = 6| pages = 1333–1340 | doi=10.1109/72.963769| pmid = 18249962 }}</ref><ref>{{cite journal | last1 = Perez-Ortiz | first1 = J. A. | last2 = Gers | first2 = F. A. | last3 = Eck | first3 = D. | last4 = Schmidhuber | first4 = J. | year = 2003 | title = Kalman filters improve LSTM network performance in problems unsolvable by traditional recurrent nets | url = | journal = Neural Networks | volume = 16 | issue = 2| pages = 241–250 | doi=10.1016/s0893-6080(02)00219-8| pmid = 12628609 | citeseerx = 10.1.1.381.1992 }}</ref>
*[[手書き文字認識]]<ref>A. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22, NIPS'22, pp 545–552, Vancouver, MIT Press, 2009.</ref><ref>{{Cite book|last=Graves|first=Alex|last2=Fernández|first2=Santiago|last3=Liwicki|first3=Marcus|last4=Bunke|first4=Horst|last5=Schmidhuber|first5=Jürgen|date=2007|title=Unconstrained Online Handwriting Recognition with Recurrent Neural Networks|url=http://dl.acm.org/citation.cfm?id=2981562.2981635|journal=Proceedings of the 20th International Conference on Neural Information Processing Systems|series=NIPS'07|location=USA|publisher=Curran Associates Inc.|pages=577–584|isbn=9781605603520}}</ref>
*人物行動認識<ref>M. Baccouche, F. Mamalet, C Wolf, C. Garcia, A. Baskurt. Sequential Deep Learning for Human Action Recognition. 2nd International Workshop on Human Behavior Understanding (HBU), A.A. Salah, B. Lepri ed. Amsterdam, Netherlands. pp. 29–39. Lecture Notes in Computer Science 7065. Springer. 2011</ref>
*[[手話]]学習<ref>{{cite arXiv | last=Huang | first=Jie | last2=Zhou | first2=Wengang | last3=Zhang | first3=Qilin | last4=Li | first4=Houqiang | last5=Li | first5=Weiping | title=Video-based Sign Language Recognition without Temporal Segmentation | date=2018-01-30 | eprint=1801.10111 | class=cs.CV }}</ref>
*タンパク質相同性検出<ref>{{Cite journal 
| last1 = Hochreiter | first1 = S. 
| last2 = Heusel | first2 = M. 
| last3 = Obermayer | first3 = K. 
| doi = 10.1093/bioinformatics/btm247 
| title = Fast model-based protein homology detection without alignment 
| journal = Bioinformatics 
| volume = 23 
| issue = 14 
| pages = 1728–1736 
| year = 2007 
| pmid =  17488755
| pmc = 
}}</ref>
*タンパク質の細胞内局在の予測<ref>{{cite journal | last1 = Thireou | first1 = T. | last2 = Reczko | first2 = M. | year = 2007 | title = Bidirectional Long Short-Term Memory Networks for predicting the subcellular localization of eukaryotic proteins | url = | journal = IEEE/ACM Transactions on Computational Biology and Bioinformatics (TCBB) | volume = 4 | issue = 3| pages = 441–446 | doi=10.1109/tcbb.2007.1015| pmid = 17666763 }}</ref>
* 時系列異常検出<ref>{{Cite journal|last=Malhotra|first=Pankaj|last2=Vig|first2=Lovekesh|last3=Shroff|first3=Gautam|last4=Agarwal|first4=Puneet|date=April 2015|title=Long Short Term Memory Networks for Anomaly Detection in Time Series|url=https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2015-56.pdf|journal=European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning — ESANN 2015}}</ref>
*[[ビジネスプロセス管理]]の分野におけるいくつかの予測課題<ref>{{cite book | last1 = Tax| first1 = N. | last2 = Verenich | first2 = I. | last3 = La Rosa | first3 = M. | last4 = Dumas | first4 = M. | year = 2017 | title = Predictive Business Process Monitoring with LSTM neural networks | journal = Proceedings of the International Conference on Advanced Information Systems Engineering (CAiSE) | volume = 10253 | pages = 477–492| doi=10.1007/978-3-319-59536-8_30| arxiv = 1612.02130 | series = Lecture Notes in Computer Science | isbn = 978-3-319-59535-1 }}</ref>
*医療パスにおける予測<ref>{{cite journal | last1 = Choi| first1 = E. | last2 = Bahadori| first2 = M.T. | last3 = Schuetz | first3 = E. | last4 = Stewart| first4 = W. | last5 = Sun| first5 = J. | year = 2016 | title = Doctor AI: Predicting Clinical Events via Recurrent Neural Networks | url = http://proceedings.mlr.press/v56/Choi16.html | journal = Proceedings of the 1st Machine Learning for Healthcare Conference | pages = 301–318| doi=| bibcode = 2015arXiv151105942C | arxiv = 1511.05942 }}</ref>
*{{仮リンク|意味的構文解析|en|Semantic parsing}}<ref>Jia, Robin; Liang, Percy (2016-06-11). [[arxiv:1606.03622|"Data Recombination for Neural Semantic Parsing"]]. ''arXiv:1606.03622 [cs]''.</ref>
*{{仮リンク|被写体共セグメンテーション|en|Object Co-segmentation}}<ref name="Wang Duan Zhang Niu p=1657">{{cite journal | last=Wang | first=Le | last2=Duan | first2=Xuhuan | last3=Zhang | first3=Qilin | last4=Niu | first4=Zhenxing | last5=Hua | first5=Gang | last6=Zheng | first6=Nanning | title=Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation | journal=Sensors | volume=18 | issue=5 | date=2018-05-22 | issn=1424-8220 | doi=10.3390/s18051657 | pmid=29789447 | pmc=5982167 | page=1657 | url=https://qilin-zhang.github.io/_pages/pdfs/Segment-Tube_Spatio-Temporal_Action_Localization_in_Untrimmed_Videos_with_Per-Frame_Segmentation.pdf}}</ref><ref name="Duan Wang Zhai Zheng 2018 p. ">{{cite conference | last=Duan | first=Xuhuan | last2=Wang | first2=Le | last3=Zhai | first3=Changbo | last4=Zheng | first4=Nanning | last5=Zhang | first5=Qilin | last6=Niu | first6=Zhenxing | last7=Hua | first7=Gang | title=Joint Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation | publisher=25th IEEE International Conference on Image Processing (ICIP)
| year=2018 | isbn=978-1-4799-7061-2 | doi=10.1109/icip.2018.8451692 | page=}}</ref>

==出典==
{{Reflist}}

==関連項目==
* {{仮リンク|1 the Road|en|1 the Road}}
* [[回帰型ニューラルネットワーク]]
* [[ディープラーニング]]
* [[ゲート付き回帰型ユニット]]
* {{仮リンク|微分可能ニューラルコンピュータ|en|Differentiable neural computer}}
* [[長期増強]]
* {{仮リンク|前頭前皮質基底核作業記憶|en|Prefrontal cortex basal ganglia working memory}}
* [[時系列]]

==外部リンク==
*[http://www.idsia.ch/~juergen/rnn.html Recurrent Neural Networks] with over 30 LSTM papers by [[Jürgen Schmidhuber]]'s group at [[IDSIA]]
* {{cite web |url= http://www.felixgers.de/papers/phd.pdf |work= PhD thesis |last= Gers |first= Felix |date= 2001 |title= Long Short-Term Memory in Recurrent Neural Networks|accessdate=2019-04-03 }}
* {{cite journal |url= http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf |last1= Gers |first1= Felix A. |first2= Nicol N. |last2= Schraudolph |first3= Jürgen |last3= Schmidhuber |title= Learning precise timing with LSTM recurrent networks |journal= Journal of Machine Learning Research |volume= 3 |date= Aug 2002 |pages= 115–143|accessdate=2019-04-03}}
* {{cite web |url= http://etd.uwc.ac.za/xmlui/handle/11394/249
|title= Data Mining, Fraud Detection and Mobile Telecommunications: Call Pattern Analysis with Unsupervised Neural Networks |hdl= 11394/249 |last= Abidogun |first=  Olusola Adeniyi |work= Master's Thesis |deadurl= no |archive-date= May 22, 2012 |archive-url= https://web.archive.org/web/20120522234026/http://etd.uwc.ac.za/usrfiles/modules/etd/docs/etd_init_3937_1174040706.pdf |year= 2005|accessdate=2019-04-03 }}
** [http://etd.uwc.ac.za/bitstream/handle/11394/249/Abidogun_MSC_2005.pdf original] with two chapters devoted to explaining recurrent neural networks, especially LSTM.
* {{cite web |url= http://www.cs.umd.edu/~dmonner/papers/nn2012.pdf |title= A generalized LSTM-like training algorithm for second-order recurrent neural networks |first1= Derek D. |last1= Monner |first2= James A. |last2= Reggia |date= 2010 |quote= High-performing extension of LSTM that has been simplified to a single node type and can train arbitrary architectures|accessdate=2019-04-03 }}
* {{cite web |url= http://christianherta.de/lehre/dataScience/machineLearning/neuralNetworks/LSTM.html |work= Tutorial |title= How to implement LSTM in Python with Theano |first= Christian |last= Herta |accessdate=2019-04-03}}
* {{github|guillaume-chevalier/LSTM-Human-Activity-Recognition| Chevalier, Guillaume. Tutorial: How to use LSTMs with TensorFlow in Python on cellphone sensor data}} 

{{DEFAULTSORT:ちようたんききおく}}
[[Category:人工ニューラルネットワーク]]