回帰型ニューラルネットワークのソースを表示

{{翻訳直後|[[:en:Special:Redirect/revision/883112738|Recurrent neural network]]|date=2019年2月}}
{{Distinguish|リカーシブニューラルネットワーク}}
{{machine learning bar}}
'''回帰型ニューラルネットワーク'''（かいきがたニューラルネットワーク、{{lang-en-short|Recurrent neural network}}; '''RNN'''）は内部に'''循環をもつ'''[[ニューラルネットワーク]]の総称・クラスである<ref name=":0">"If a network has one or more cycles, that is, if it is possible to follow a path from a unit back to itself, then the network is referred to as recurrent." Jordan, M.I. (1986). ''Serial order: A parallel distributed processing approach''. (Tech. Rep. No. 8604). San Diego: University of California, Institute for Cognitive Science.</ref>。

== 概要 ==
[[ニューラルネットワーク]]は入力を線形変換する処理単位からなるネットワークである。このネットワーク内に循環が存在する、すなわちユニットの出力が何らかの経路で自身へ再び入力する場合、これを'''回帰型ニューラルネットワーク'''という<ref name=":0" />。回帰のないネットワーク（[[順伝播型ニューラルネットワーク]]; Feed-Forward Network; '''FFN'''）と対比される。

RNNは任意のひと続きの入力を処理するために内部状態（記憶）を使うことができる。これによって、時系列のための時間的な動的振る舞いを示すことが可能となる<ref>{{cite book|title=Robust Automatic Speech Recognition|author=Jinyu Li Li Deng Reinhold Haeb-Umbach Yifan Gong|year=2015|publisher=Academic Press|isbn=978-0128023983}}</ref>。これによって、分割化されていない、つながりのある[[手書き文字認識]]<ref>{{cite journal | last1 = Graves | first1 = A. | authorlink6 = Jürgen Schmidhuber | last2 = Liwicki | first2 = M. | last3 = Fernandez | first3 = S. | last4 = Bertolami | first4 = R. | last5 = Bunke | first5 = H. | last6 = Schmidhuber | first6 = J. | title = A Novel Connectionist System for Improved Unconstrained Handwriting Recognition | url = http://www.idsia.ch/~juergen/tpami_2008.pdf | format = PDF | journal = IEEE Transactions on Pattern Analysis and Machine Intelligence | volume = 31 | issue = 5| year = 2009 }}</ref>や[[音声認識]]<ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|last=Sak|first=Hasim|last2=Senior|first2=Andrew|date=2014|website=|archive-url=|archive-date=|dead-url=|access-date=2019-04-05|last3=Beaufays|first3=Francoise}}</ref><ref name="liwu2015">{{cite arxiv|last=Li|first=Xiangang|last2=Wu|first2=Xihong|date=2014-10-15|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|eprint=1410.4281|class=cs.CL}}</ref>といった課題に応用が可能になっている。

「回帰型ニューラルネットワーク」という用語は、類似した一般構造を持つ2つの広いネットワークのクラスを指し示すために見境なく使われる。1つは[[有限インパルス応答|有限インパルス]]、もう1つは[[無限インパルス応答|無限インパルス]]である。どちらのネットワークのクラスも時間的な動的振る舞いを示す<ref>{{Cite journal|last=Miljanovic|first=Milos|date=Feb-Mar 2012|title=Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction|url=http://www.ijcse.com/docs/INDJCSE12-03-01-028.pdf|journal=Indian Journal of Computer and Engineering|volume=3|issue=1|pages=|via=}}</ref>。有限インパルス回帰型ネットワークは厳密な順伝播型ニューラルネットワークに展開でき、置き換えることができる[[有向非巡回グラフ]]であるのに対して、無限インパルス回帰型ネットワークは展開できない[[有向グラフ|有向巡回グラフ]]である。

有限インパルスと無限インパルス回帰型ネットワークはどちらも追加の保管状態を持つことができ、この保管場所はニューラルネットワークによる直接的な制御下とすることができる。保管場所は他のネットワークやグラフが時間遅延を取り込むか、フィードバックループを持つのであれば、それらで置き換えることもできる。こういった制御された状態はゲート状態またはゲート記憶と呼ばれ、[[長・短期記憶]]ネットワーク（LSTMs）および[[ゲート付き回帰型ユニット]]（GRUs）の一部である。

== 和訳 ==
'''再帰型ニューラルネット'''または'''循環ニューラルネット'''と訳されこともある<ref name="okatani">{{harvnb|岡谷|2015|pp=112}}</ref>。本項では「Recurrent」ニューラルネットワークの訳語として「回帰型」、「[[#再帰型|Recursive]]」ニューラルネットワークの訳語として「再帰型」を用いる<ref name="watanabe">{{cite journal|和書|author=渡辺太郎|title=ニューラルネットワークによる構造学習の発展|url=http://id.nii.ac.jp/1004/00002040/|journal=人工知能|volume=31|issue=2|pages=202--209|naid=110010039602}}</ref>。{{toclimit|3}}

== 歴史 ==
回帰型ニューラルネットワークは1986年の[[デビッド・ラメルハート]]の研究に基づく<ref>{{Cite journal|last=Williams|first=Ronald J.|last2=Hinton|first2=Geoffrey E.|last3=Rumelhart|first3=David E.|date=October 1986|title=Learning representations by back-propagating errors|url=https://www.nature.com/articles/323533a0|journal=Nature|volume=323|issue=6088|pages=533–536|doi=10.1038/323533a0|issn=1476-4687}}</ref>。ホップフィールド・ネットワークは1982年に[[ジョン・ホップフィールド]]によって見出された。1993年、ニューラルヒストリー圧縮システムが、時間に展開されたRNN中で1000以上の層を必要とする「非常に深い学習」問題を解決した<ref name="schmidhuber1993">{{Cite book |url=ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf |title=Habilitation thesis: System modeling and optimization |last=Schmidhuber |first=Jürgen |year=1993 |authorlink=Jürgen Schmidhuber}} Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN.</ref>。

[[長・短期記憶]]（LSTM）は2007年頃から[[音声認識]]に革命をもたらし始め、特定の音声認識への応用において伝統的なモデルをしのいだ<ref name="fernandez2007keyword">{{Cite journal |last=Fernández |first=Santiago |last2=Graves |first2=Alex |last3=Schmidhuber |first3=Jürgen |date=2007 |title=An Application of Recurrent Neural Networks to Discriminative Keyword Spotting |url=http://dl.acm.org/citation.cfm?id=1778066.1778092 |journal=Proceedings of the 17th International Conference on Artificial Neural Networks |series=ICANN'07 |location=Berlin, Heidelberg |publisher=Springer-Verlag |pages=220–229 |isbn=978-3-540-74693-5 }}</ref>。2009年、{{仮リンク|コネクショニスト時系列分類|en|Connectionist Temporal Classification}}（CTC）で訓練されたLSTMネットワークは、パターン認識大会で優勝した初のRNNとなった。このネットワークはつながった手書き文字認識の複数の大会で優勝した<ref name="schmidhuber2015" /><ref name="graves20093">{{Cite journal |last2=Schmidhuber |first2=Jürgen |date=2009 |editor-last=Bengio |editor-first=Yoshua |title=Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks |url=https://papers.nips.cc/paper/3449-offline-handwriting-recognition-with-multidimensional-recurrent-neural-networks |journal=Neural Information Processing Systems (NIPS) Foundation |pages=545–552 |editor-last2=Schuurmans |editor-first2=Dale |editor-last3=Lafferty |editor-first3=John |editor-last4=Williams |editor-first4=Chris editor-K. I. |editor-last5=Culotta |editor-first5=Aron |last1=Graves |first1=Alex}}</ref>。2014年、中国の大手検索サイト[[百度]]は、伝統的な音声処理法を用いることなくSwitchboard Hub5'00音声認識ベンチマークを破るためにCTCで訓練されたRNNを用いた<ref name="hannun2014">{{cite arxiv |last=Hannun |first=Awni |last2=Case |first2=Carl |last3=Casper |first3=Jared |last4=Catanzaro |first4=Bryan |last5=Diamos |first5=Greg |last6=Elsen |first6=Erich |last7=Prenger |first7=Ryan |last8=Satheesh |first8=Sanjeev |last9=Sengupta |first9=Shubho |date=2014-12-17 |title=Deep Speech: Scaling up end-to-end speech recognition |eprint=1412.5567 |class=cs.CL}}</ref>。

LSTMはまた、大規模語彙音声認識<ref name="sak2014"/><ref name="liwu2015"/>および[[音声合成|テキスト音声合成]]<ref name="fan2015">Bo Fan, Lijuan Wang, Frank K. Soong, and Lei Xie (2015). Photo-Real Talking Head with Deep Bidirectional LSTM. In Proceedings of ICASSP 2015.</ref>を改良し、[[Android (オペレーティングシステム)|Android]]において使われた.<ref name="schmidhuber2015" /><ref name="zen2015">{{Cite web |url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf |title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis |last=Zen |first=Heiga |last2=Sak |first2=Hasim |date=2015 |website=Google.com |publisher=ICASSP |pages=4470–4474 |archive-url= |archive-date= |dead-url= |access-date=2019-04-05}}</ref>。2015年、GoogleはCTCで訓練されたLSTMによって音声認識の劇的な性能向上が達成された<ref name="sak2015">{{Cite web |url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html |title=Google voice search: faster and more accurate |last=Sak |first=Haşim |last2=Senior |first2=Andrew |date=September 2015 |last3=Rao |first3=Kanishka |last4=Beaufays |first4=Françoise |last5=Schalkwyk |first5=Johan |accessdate=2019-04-05}}</ref>と報告され、この技術は{{仮リンク|Google Voice Search|en|Google Voice Search}}で使用された。

LSTMは[[機械翻訳]]<ref name="sutskever2014">{{Cite journal |last=Sutskever |first=L. |last2=Vinyals |first2=O. |last3=Le |first3=Q. |date=2014 |title=Sequence to Sequence Learning with Neural Networks |url=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf |journal=Electronic Proceedings of the Neural Information Processing Systems Conference |volume=27 |pages=5346 |arxiv=1409.3215 |bibcode=2014arXiv1409.3215S }}</ref>、[[言語モデル|言語モデリング]]<ref name="vinyals2016">{{cite arxiv |last=Jozefowicz |first=Rafal |last2=Vinyals |first2=Oriol |last3=Schuster |first3=Mike |last4=Shazeer |first4=Noam |last5=Wu |first5=Yonghui |date=2016-02-07 |title=Exploring the Limits of Language Modeling |eprint=1602.02410 |class=cs.CL}}</ref>、多言語処理<ref name="gillick2015">{{cite arxiv |last=Gillick |first=Dan |last2=Brunk |first2=Cliff |last3=Vinyals |first3=Oriol |last4=Subramanya |first4=Amarnag |date=2015-11-30 |title=Multilingual Language Processing From Bytes |eprint=1512.00103 |class=cs.CL}}</ref>の記録を破った。[[畳み込みニューラルネットワーク]]（CNN）と組み合わされたLSTMは自動画像キャプション（短い説明文）付けを向上させた<ref name="vinyals2015">{{cite arxiv |last=Vinyals |first=Oriol |last2=Toshev |first2=Alexander |last3=Bengio |first3=Samy |last4=Erhan |first4=Dumitru |date=2014-11-17 |title=Show and Tell: A Neural Image Caption Generator |eprint=1411.4555 |class=cs.CV }}</ref>。

==構造==
RNNには多くの派生形式がある。

===完全回帰型 ===
[[File:Recurrent neural network unfold.svg|thumb|展開された基本的な回帰型ニューラルネットワーク]]
基本的なRNNは連続する「層」へと編成された[[人工神経|ニューロン的]]ノードのネットワークであり、所定の層中の個々のノードは次の層中の全てのノードと[[有向グラフ|有向（一方向）結合]]により結合されている{{Citation needed|date=January 2017}}。個々のノード（ニューロン）は時間変動する実数値の活性化を有する。個々の結合（シナプス）は変更可能な実数値の{{仮リンク|重み付け|en| Weighting|label=重み}}を有する。ノードは（ネットワーク外からデータを受け取る）入力ノード、（結果を得る）出力ノード、（入力から出力への途上でデータを修正する）隠れノードのいずれかである。

離散時間設定における[[教師あり学習]]のため、実数値入力ベクトルの配列は入力ノードに到着する（一度に1つのベクトル）。任意の時間ステップにおいて、個々の非入力ユニットはそれに結合した全てのユニットの活性化の加重和の非線形関数としてその現在の活性化（結果）を計算する。ある時間ステップにおける一部の出力ユニットのために教師が与えられた目標活性化を提供することができる。例えば、入力配列が数字音声に対応した音声シグナルであるならば、配列の最後における最終目標出力は数字を分類するラベルとなるだろう。

[[強化学習]]のセッティングでは、教師は目標シグナルを与えない。代わりに、{{仮リンク|適合度関数|en|Fitness function}}または報酬関数がRNNの性能を評価するために使われることがある。これは環境に影響を与えるアクチュエータに結合された出力ユニットを通してその入力ストリームに影響する。これは、進行が勝ち取った点数によって測定されるゲームをプレーするために使うことができるかもしれない。

個々の配列は、全ての目標シグナルのネットワークによって計算された対応する活性化からのずれの和として誤差を生じる。膨大な配列のセットを訓練では、全誤差は全ての個別の配列の誤差の和である。

===エルマンネットワークとジョーダンネットワーク===
[[File:Elman srnn.png|thumb|right|エルマンネットワーク]]

{{仮リンク|ジェフリー・エルマン|en|Jeffrey Elman|label=エルマン}}ネットワークは、一連の「文脈ユニット」（右図中の''u''）を追加した3層ネットワーク（右図中で''x''、''y''、''z''として垂直に配置されている）である。中央（隠れ）層は1の重みに固定されたこれらの文脈ユニットに結合されている<ref name="bmm615">Cruse, Holk; [http://www.brains-minds-media.org/archive/615/bmm615.pdf ''Neural Networks as Cybernetic Systems''], 2nd and revised edition</ref>。個々の時間ステップにおいて、入力は順伝播され、学習規則が適用される。固定された逆結合は文脈ユニット中の隠れユニットの以前の値のコピーを保存する（これは、それらが学習規則が適用する前に結合を通じて伝播されるためである）。したがって、ネットワークは一種の状態を維持することができ、これによって標準的な[[多層パーセプトロン]]の能力を超える時系列予測といった課題を実行することが可能となる。

{{仮リンク|マイケル・I・ジョーダン|en|Michael I. Jordan|label=ジョーダン}}ネットワークはエルマンネットワークと似ている。文脈ユニットは隠れ層の代わりに出力層から入力を得る。ジョーダンネットワーク中の文脈ユニットは状態層とも呼ばれる。それらはそれら自身への回帰的結合を持つ<ref name="bmm615" />。

エルマンネットワークとジョーダンネットワークは「単純回帰型ネットワーク（SRN）」としても知られている。

;エルマンネットワーク<ref>{{cite journal
 | last=Elman
 | first=Jeffrey L.
 | title=Finding Structure in Time
 | journal=Cognitive Science
 | year=1990
 | volume=14
 | issue=2
 | pages=179–211
 | doi=10.1016/0364-0213(90)90002-E}}</ref>
:<math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} h_{t-1} + b_h) \\
y_t &= \sigma_y(W_{y} h_t + b_y)
\end{align}
</math>
;ジョーダンネットワーク<ref>{{Cite book |last=Jordan |first=Michael I. |date=1997-01-01 |title=Serial Order: A Parallel Distributed Processing Approach |journal=Advances in Psychology |series=Neural-Network Models of Cognition |volume=121 |pages=471–495 |doi=10.1016/s0166-4115(97)80111-2 |isbn=9780444819314}}</ref>
:<math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} y_{t-1} + b_h) \\
y_t &= \sigma_y(W_{y} h_t + b_y)
\end{align}
</math>

変数および関数
* <math>x_t</math>: 入力ベクトル
* <math>h_t</math>:隠れ層ベクトル
* <math>y_t</math>: 出力ベクトル
* <math>W</math>、<math>U</math>、および<math>b</math>: パラメータ行列およびベクトル
* <math>\sigma_h</math>および<math>\sigma_y</math>: [[活性化関数]]

===ホップフィールド ===
{{Main|ホップフィールドネットワーク}}

[[ホップフィールドネットワーク]]は全ての結合が対称的なRNNである。[[定常過程|定常]]入力を必要とし、複数パターンの配列を処理しないため、汎用RNNではない。ホップフィールドネットワークは収束することを保証している。もし結合が[[ヘッブの法則|ヘッブの学習]]を用いて訓練されるならば、ホップフィールドネットワークは結合変化に抵抗性のある[[ロバストネス (コンピュータ)|頑強な]][[連想メモリ]]として機能することができる。

====双方向連想メモリ====
{{Main|双方向連想メモリ}}
Bart Koskoによって発表された<ref>{{cite journal |date=1988 |title=Bidirectional associative memories |journal=IEEE Transactions on Systems, Man, and Cybernetics |volume=18 |issue=1 |pages=49–60 |doi=10.1109/21.87054 |last1=Kosko |first1=B.}}</ref>双方向連想メモリ（bidirectional associative memory、BAM）ネットワークは、ベクトルとして連想データを貯蔵するホップフィールドネットワークの一変型である。双方向性は行列とその[[転置行列]]を通って情報が流れることから来ている。典型的には、{{仮リンク|双極符号化|en|Bipolar encoding}}が連想対の二値符号化よりも選好される。最近、[[マルコフ連鎖|マルコフ]]飛び（ステッピング）を用いた確率的BAMモデルが増強したネットワーク安定化ために最適化され、現実世界の応用と関わりを持った<ref>{{cite journal |last2=Chandrasekar |first2=A. |last3=Lakshmanan |first3=S. |last4=Park |first4=Ju H. |date=2 January 2015 |title=Exponential stability for markovian jumping stochastic BAM neural networks with mode-dependent probabilistic time-varying delays and impulse control |journal=Complexity |volume=20 |issue=3 |pages=39–65 |doi=10.1002/cplx.21503 |last1=Rakkiyappan |first1=R.|bibcode=2015Cmplx..20c..39R }}</ref>。

BAMネットワークは2つの層を持ち、そのうちのどちらかを、連想を思い出し、もう一方の層上へ出力を生成するための入力として動作させることができる<ref>{{cite book
 | url = {{google books |plainurl=y |id=txsjjYzFJS4C|page=336}}
 | page = 336
 | title = Neural networks: a systematic introduction
 | author = Rául Rojas
 | publisher = Springer
 | isbn = 978-3-540-60505-8
 | year = 1996
 }}</ref>。

===エコー状態===
{{Main|エコー状態ネットワーク}}
{{仮リンク|エコー状態ネットワーク|en|Echo state network}}（Echo state network、ESN）は、疎らに結合されたランダム隠れ層を持つ。出力ニューロンの重みは変更可能な（訓練可能な）ネットワークの一部でしかない。ESNは特定の[[時系列]]の再現に秀でている<ref>{{Cite journal |last=Jaeger |first=Herbert |last2=Haas |first2=Harald |date=2004-04-02 |title=Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication |journal=Science |volume=304 |issue=5667 |pages=78–80 |doi=10.1126/science.1091277 |pmid=15064413 |bibcode=2004Sci...304...78J|citeseerx=10.1.1.719.2301 }}</ref>。[[スパイキングニューラルネットワーク|スパイキングニューロン]]のための派生形式は{{仮リンク|液体状態マシン|en|liquid state machine}}として知られる<ref>{{cite journal|author=W. Maass, T. Natschläger, and H. Markram|title= A fresh look at real-time computation in generic recurrent neural circuits|journal= Technical report, Institute for Theoretical Computer Science|publisher= TU Graz|year= 2002|url=http://www.lsm.tugraz.at/papers/lsm-fresh-148.pdf}}</ref>。

===独立RNN (IndRNN) ===
独立回帰型ニューラルネットワーク（Independently recurrent neural network、IndRNN<ref name="auto">{{cite journal |title=Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN |last1=Li |first1=Shuai |last2=Li |first2=Wanqing |last3=Cook |first3=Chris |last4=Zhu |first4=Ce |last5=Yanbo |first5=Gao |journal=IEEE Conference on Computer Vision and Pattern Recognition |year=2018|arxiv=1803.04831 }}</ref>）は、従来の完全結合型RNNにおける勾配消失および爆発問題に対処する。1つの層中の個々のニューロンは（この層中の他の全てのニューロンへの完全な結合の代わりに）文脈情報としてそれ自身の過去状態のみを受け取り、ゆえにニューロンは互いの履歴に独立である。勾配バックプロパゲーションは、長期または短期記憶を保持するため、勾配消失および爆発を避けるために制御することができる。ニューロン間情報は次の層において探索される。IndRNNは[[正規化線形関数|ReLU]]といった非飽和非線形関数を使って確実に訓練することができる。スキップコネクションを使うことで、深いネットワークを訓練することができる。

===再帰型 ===
{{Main|再帰型ニューラルネットワーク}}

{{仮リンク|再帰型ニューラルネットワーク|en|recursive neural network}}（recursive neural network）<ref>{{cite book |doi=10.1109/ICNN.1996.548916 |title=Learning task-dependent distributed representations by backpropagation through structure |url=https://pdfs.semanticscholar.org/794e/6ed81d21f1bf32a0fd3be05c44c1fa362688.pdf |last1=Goller |first1=C. |last2=Küchler |first2=A. |journal=IEEE International Conference on Neural Networks, 1996 |volume=1 |pages=347 |year=1996 |isbn=978-0-7803-3210-2|citeseerx=10.1.1.52.4759 }}</ref>は、[[トポロジカルソート|トポロジカル順序]]で可微分なグラフ様構造を横断することによって、同じ一連の重みを構造に[[再帰|再帰的]]に適用することによって作られる。このようなネットワークは典型的に[[自動微分]]の反転モードによって訓練することもできる<ref name="lin1970">[[Seppo Linnainmaa]] (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7.</ref><ref name="grie2008">{{cite book |first1=Andreas |last1=Griewank |first2=Andrea |last2= Walther |title=Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation |edition=Second |url={{google books |plainurl=y |id=xoiiLaRxcbEC}} |year=2008 |publisher=SIAM |isbn=978-0-89871-776-1}}</ref>。再帰型ニューラルネットワークは、[[数理論理学|論理項]]といった構造の分散表現を処理することできる。再帰型ニューラルネットワークの特殊な場合が、構造が直鎖に対応するRecurrent（回帰型）NNである。再帰型ニューラルネットワークは[[自然言語処理]]に応用されてきた<ref>{{citation|last1=Socher|first1=Richard|last2=Lin|first2=Cliff|last3=Ng|first3=Andrew Y.|last4=Manning|first4=Christopher D.|date=|contribution=Parsing Natural Scenes and Natural Language with Recursive Neural Networks|contribution-url=http://ai.stanford.edu/~ang/papers/icml11-ParsingWithRecursiveNeuralNetworks.pdf|title=28th International Conference on Machine Learning (ICML 2011)|pages=|via=}}</ref>。再帰型ニューラルテンソルネットワークは、木中の全てのノードに対して[[テンソル]]ベースの合成関数を使用する<ref>{{cite journal |last1=Socher |first1=Richard |last2=Perelygin |first2=Alex |last3=Y. Wu |first3=Jean |last4=Chuang |first4=Jason |last5=D. Manning |first5=Christopher |last6=Y. Ng |first6=Andrew |last7=Potts |first7=Christopher |title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank |journal=Emnlp 2013 |url=http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf}}</ref>。

===ニューラルヒストリーコンプレッサ===
ニューラルヒストリーコンプレッサ（neural history compressor）はRNNの教師なしスタックである<ref name="schmidhuber1992">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | authorlink = Jürgen Schmidhuber | year = 1992| title = Learning complex, extended sequences using the principle of history compression | url = ftp://ftp.idsia.ch/pub/juergen/chunker.pdf | journal = Neural Computation | volume = 4 | issue = 2| pages = 234–242 | doi=10.1162/neco.1992.4.2.234}}</ref>。入力レベルにおいて、前の入力から次の入力を予測することを学習する。この階層型構造において一部のRNNの予測不可能な入力のみが次のより高いレベルのRNNへの入力となる。したがって、極めてまれにしかその内部状態は再計算されない。ゆえに、個々のより高位のRNNは下位RNN中の情報の圧縮表現を学ぶ。これは、入力配列がより高レベルにおける表現から正確に再構成できるような方法で行われる。

このシステムは、記述長またはデータの確率の負の[[対数]]を効果的に最小化する<ref name="scholarpedia2015pre">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | authorlink = Jürgen Schmidhuber | year = 2015 | title = Deep Learning | url = http://www.scholarpedia.org/article/Deep_Learning#Fundamental_Deep_Learning_Problem_and_Unsupervised_Pre-Training_of_RNNs_and_FNNs | journal = Scholarpedia | volume = 10 | issue = 11| page = 32832 | doi=10.4249/scholarpedia.32832| bibcode = 2015SchpJ..1032832S }}</ref>。入ってくるデータ配列中の多量の学習可能な予測可能性を考えると、最高レベルのRNNは、重要な事象間に長い間隔がある深い配列でさえも容易に分類するために教師あり学習を用いることができる。

このRNN階層を2つのRNN、「意識的」チャンカー（高位）と「無意識的」オートマタイザー（下位）に抜き出すことが可能である<ref name="schmidhuber1992" />。チャンカーがオートマタイザーによって予測不可能な入力の予測と圧縮を学習すると、次にオートマタイザーは次の学習フェーズにおいて追加ユニットを通して、よりゆっくりと変化するチャンカーの隠れ層を予測または模倣することになる。これによってオートマタイザーが、長い間隔を超えて適切な、めったに変化しない記憶を学習することが容易になる。次に、チャンカーが残った予測不可能な事象に注視できるように、これはオートマタイザーが以前は予測不可能だった入力の多くを予測できるものとするのを助ける<ref name="schmidhuber1992" />。

[[生成モデル]]は、1992年に[[自動微分]]または[[バックプロパゲーション]]の[[勾配消失問題]]を部分的に克服した<ref name="hochreiter1991">[[Sepp Hochreiter]] (1991), [http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf Untersuchungen zu dynamischen neuronalen Netzen], Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber.</ref>。1993年、こういったシステムは時間方向に展開されたRNN中に1000を超える後続層を必要とする「非常に深い学習」課題を解決した<ref name="schmidhuber1993"/>。

===二次RNN===
二次（second order）RNNは、標準的な重み<math>w{}_{ij}</math>の代わりにより高次の重み<math>w{}_{ijk}</math>を用い、状態は積となる。これによって、訓練、安定性、表現において[[有限オートマトン|有限状態機械]]への直接的マッピングが可能となる<ref>C.L. Giles, C.B. Miller, D. Chen, H.H. Chen, G.Z. Sun, Y.C. Lee, [https://clgiles.ist.psu.edu/pubs/NC1992-recurrent-NN.pdf "Learning and Extracting Finite State Automata with Second-Order Recurrent Neural Networks"], Neural Computation, 4(3), p. 393, 1992.</ref><ref>C.W. Omlin, C.L. Giles, [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.32.2364&rep=rep1&type=pdf "Constructing Deterministic Finite-State Automata in Recurrent Neural Networks"] Journal of the ACM, 45(6), 937-972, 1996.</ref>。長・短期記憶（LSTM）はこの一例であるが、こういった形式的マッピングまたは安定性の証明は持たない。

===長・短期記憶===
{{Main|長・短期記憶}}
[[File:Long Short-Term Memory.svg|thumb|長・短期記憶ユニット]]
長・短期記憶（LSTM）は[[勾配消失問題]]を回避する[[ディープラーニング]]（深層学習）システムである。LSTMは通常、「忘却」ゲートと呼ばれる回帰型ゲートによって拡張されている<ref name="gers2002">{{Cite journal|url=https://www.researchgate.net/publication/220320057|title=Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)|last=Gers|first=Felix|last2=Schraudolph|first2=Nicol N.|journal=Crossref Listing of Deleted Dois|volume=1|archive-url=|archive-date=|dead-url=|access-date=2019-04-05|last3=Schmidhuber|first3=Jürgen|pp=115–143|doi=10.1162/153244303768966139|year=2000}}</ref>。LSTMは勾配の消失または爆発からの逆伝播誤差を防ぐ<ref name="hochreiter1991"/>。代わりに、誤差は空間方向に展開された無制限の数のバーチャル層を通して逆向きに流れる。すなわち、LSTMは、数千または数百万離れた時間段階前に起こった事象の記憶を必要とする課題を学習できる<ref name="schmidhuber2015">
{{Cite journal |last=Schmidhuber |first=Jürgen |authorlink=Jürgen Schmidhuber |date=January 2015 |title=Deep Learning in Neural Networks: An Overview |journal=Neural Networks |volume=61 |pages=85–117 |doi=10.1016/j.neunet.2014.09.003 |pmid=25462637 |arxiv=1404.7828 }}</ref>。問題特化型のLSTM的トポロジーを発展させることができる。<ref name="bayer2009">{{Cite book |last=Bayer |first=Justin |last2=Wierstra |first2=Daan |last3=Togelius |first3=Julian |last4=Schmidhuber |first4=Jürgen |date=2009-09-14 |title=Evolving Memory Cell Structures for Sequence Learning |journal=Artificial Neural Networks – ICANN 2009 |volume=5769 |publisher=Springer, Berlin, Heidelberg |pages=755–764 |doi=10.1007/978-3-642-04277-5_76 |series=Lecture Notes in Computer Science |isbn=978-3-642-04276-8|url=http://mediatum.ub.tum.de/doc/1289041/document.pdf }}</ref>。LSTMは重要な事象間に長い遅延が与えられても機能し、低周波数と高周波数成分を混合した信号を扱うことができる。

多くの応用がLSTM RNNのスタックを用いており<ref name="fernandez2007">{{Cite journal |last=Fernández |first=Santiago |last2=Graves |first2=Alex |last3=Schmidhuber |first3=Jürgen |date=2007 |title=Sequence labelling in structured domains with hierarchical recurrent neural networks |citeseerx=10.1.1.79.1887 |journal=Proc. 20th Int. Joint Conf. On Artificial In℡ligence, Ijcai 2007 |pages=774–779}}</ref>、訓練セット中のラベル配列の確率を最大化するRNN重み行列を見付けるためにそれらを[[コネクショニスト時系列分類]]（CTC）<ref name="graves2006">{{Cite journal |last=Graves |first=Alex |last2=Fernández |first2=Santiago |last3=Gomez |first3=Faustino |date=2006 |title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks |citeseerx=10.1.1.75.6306 |journal=In Proceedings of the International Conference on Machine Learning, ICML 2006 |pages=369–376}}</ref>によって訓練している。CTCはアラインメントと認識の両方を達成する。

LSTMは[[隠れマルコフモデル]]（HMM）や類似の概念に基づく以前のモデルとは異なり、[[文脈依存言語]]を認識することを学習することができる<ref>{{Cite journal|last=Gers|first=F. A.|last2=Schmidhuber|first2=E.|date=November 2001|title=LSTM recurrent networks learn simple context-free and context-sensitive languages|url=http://ieeexplore.ieee.org/document/963769/|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|pmid=18249962|issn=1045-9227}}</ref>。

===ゲート付き回帰型ユニット===
{{Main|ゲート付き回帰型ユニット}}

[[File:Gated Recurrent Unit.svg|thumb|ゲート付き回帰型ユニット]]

ゲート付き回帰型ユニット（GRUs）は2014年に発表された回帰型ニューラルネットワークにおけるゲート機構である。完全な形式やいくつかの単純化された方式で使われている<ref>{{cite arxiv|last=Heck|first=Joel|last2=Salem|first2=Fathi M.|date=2017-01-12|title=Simplified Minimal Gated Unit Variations for Recurrent Neural Networks|eprint=1701.03452 |class=cs.NE}}</ref><ref>{{cite arxiv|last=Dey|first=Rahul|last2=Salem|first2=Fathi M.|date=2017-01-20|title=Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks|eprint=1701.05923 |class=cs.NE}}</ref>。多声音楽モデリングおよび音声信号モデリングにおけるそれらの性能は長・短期記憶の性能と似ていることが明らかにされた<ref name="MyUser_Arxiv.org_May_18_2016c">{{cite arXiv |class=cs.NE |first2=Caglar |last2=Gulcehre |title=Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling |eprint=1412.3555 |last1=Chung |first1=Junyoung |last3=Cho |first3=KyungHyun |last4=Bengio |first4=Yoshua |year=2014}}</ref>。これらは出力ゲートを持っていないため、LSTMよりもパラメータが少ない<ref name="MyUser_Wildml.com_May_18_2016c">{{cite web |url=http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/ |title=Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML |date= 2015-10-27|newspaper=Wildml.com |accessdate=April 5, 2019}}</ref>。

===双方向性===
双方向性（bi-directional）RNNsは要素の過去および未来の文脈に基づいて配列の個々の要素を予測あるいはラベル付けするために有限配列を用いる。これは、2つのRNNの出力を統合することによってなされる。一方のRNNは配列を左から右へ、もう一方は右から左へと処理する。統合された出力は教師が与えられた対象シグナルの予測である。この技法はLSTM RNNsを組み合わせた時に特に有用であることが証明されている<ref>{{Cite journal |last=Graves |first=Alex |last2=Schmidhuber |first2=Jürgen |date=2005-07-01 |title=Framewise phoneme classification with bidirectional LSTM and other neural network architectures |journal=Neural Networks |series=IJCNN 2005 |volume=18 |issue=5 |pages=602–610 |doi=10.1016/j.neunet.2005.06.042|pmid=16112549 |citeseerx=10.1.1.331.5800 }}</ref><ref>{{Cite journal |last=Thireou |first=T. |last2=Reczko |first2=M. |date=July 2007 |title=Bidirectional Long Short-Term Memory Networks for Predicting the Subcellular Localization of Eukaryotic Proteins |journal=IEEE/ACM Transactions on Computational Biology and Bioinformatics |volume=4 |issue=3 |pages=441–446 |doi=10.1109/tcbb.2007.1015}}</ref>。

===連続時間===
連続時間（continuous time）回帰型ニューラルネットワーク（CTRNN）は、入ってくるスパイクの一連の流れのニューロンへの影響をモデル化するために[[常微分方程式]]の系を用いる。

[[活動電位]]<math>y_{i}</math>を持つネットワーク中のニューロン<math>i</math>に対して、活性化の変化率は以下の式で与えられる。
:<math>\tau_{i}\dot{y}_{i}=-y_{i}+\sum_{j=1}^{n}w_{ji}\sigma(y_{j}-\Theta_{j})+I_{i}(t)</math>
上式において、
* <math>\tau_{i}</math> : [[シナプス|シナプス後]]ノードの時定数
* <math>y_{i}</math> : シナプス後ノードの活性化
* <math>\dot{y}_{i}</math> : シナプス後ノードの活性化の変化率
* <math>w{}_{ji}</math> : シナプス前ノードからシナプス後ノードへの結合の重み
* <math>\sigma(x)</math> : xのシグモイド。例: <math>\sigma(x) = 1/(1+e^{-x})</math>
* <math>y_{j}</math> : シナプス前ノードの活性化
* <math>\Theta_{j}</math> : シナプス前ノードのバイアス
* <math>I_{i}(t)</math> : （もしあれば）ノードへの入力

CTRNNsは[[進化ロボティクス]]に適用された。進化ロボティクスでは、CTRNNsはビジョン<ref>{{citation|last=Harvey|first=Inman|title=3rd international conference on Simulation of adaptive behavior: from animals to animats 3|year=1994|author2=Husbands, P.|author3=Cliff, D.|pages=392–401|contribution=Seeing the light: Artificial evolution, real vision|contribution-url=https://www.researchgate.net/publication/229091538_Seeing_the_Light_Artificial_Evolution_Real_Vision}}</ref>、連携<ref name="Evolving communication without dedicated communication channels">{{cite book |last=Quinn |first=Matthew |title=Evolving communication without dedicated communication channels |journal=Advances in Artificial Life |year=2001 |pages=357–366 |doi=10.1007/3-540-44811-X_38 |series=Lecture Notes in Computer Science |isbn=978-3-540-42567-0 |volume=2159|citeseerx=10.1.1.28.5890 }}</ref>、および軽度認知行動<ref name="The dynamics of adaptive behavior: A research program">{{cite journal |last=Beer |title=The dynamics of adaptive behavior: A research program |first=R.D. |journal=Robotics and Autonomous Systems |year=1997 |pages=257–289 |doi=10.1016/S0921-8890(96)00063-2 |volume=20 |issue=2–4}}</ref>に取り組むために使われている。

ここで留意すべきは、[[標本化定理|シャノン標本化定理]]により、離散時間回帰型ニューラルネットワークは、[[微分方程式]]が等価な[[漸化式|差分方程式]]へと変形された連続時間回帰型ニューラルネットワークを見ることができる、という点である。この変形は、シナプル後ノード活性化関数<math>y_i(t)</math>がローパスフィルターを通された後に（しかしサンプリングより前に）起こると考えることができる。

===階層的 ===
階層的（hierarchical）RNNsは、階層的振る舞いを有用なサブプログラムへと分解するために様々なやり方でそれらのニューロンを結合する<ref name="schmidhuber1992"/><ref>{{Cite journal |last=Paine |first=Rainer W. |last2=Tani |first2=Jun |date=2005-09-01 |title=How Hierarchical Control Self-organizes in Artificial Adaptive Systems |journal=Adaptive Behavior |volume=13 |issue=3 |pages=211–225 |doi=10.1177/105971230501300303}}</ref>。

===回帰型多層パーセプトロンネットワーク===
一般に、回帰型多層パーセプトロン（Recurrent Multi-Layer Perceptron、RMLP）ネットワークは直列のサブネットワークから構成され、それぞれのサブネットワークは多層のノードを含む。これらのサブネットワークのそれぞれは、フィードバック結合を持ちうる最終層を除いて順伝播型である。これらのサブネットワークのそれぞれは、順伝播型結合によってのみ結合されている<ref>{{cite book |citeseerx=10.1.1.45.3527 |title=Recurrent Multilayer Perceptrons for Identification and Control: The Road to Applications|year=1995}}</ref>。

===多重時間スケールモデル===
多重時間スケール（multiple timescales）回帰型ニューラルネットワーク（MTRNN）は、ニューロン間の空間的結合および異なる種類のニューロン活動（個々は異なる時間特性を持つ）に依存した自己組織化を通して脳の機能的階層をシミュレートできるニューラルネットワークに基づいた計算モデルである<ref>{{Cite journal |last=Yamashita |first=Yuichi |last2=Tani |first2=Jun |date=2008-11-07 |title=Emergence of Functional Hierarchy in a Multiple Timescale Neural Network Model: A Humanoid Robot Experiment |journal=PLOS Computational Biology |volume=4 |issue=11 |pages=e1000220 |doi=10.1371/journal.pcbi.1000220 |pmc=2570613 |pmid=18989398 |bibcode=2008PLSCB...4E0220Y}}</ref><ref>{{Cite journal |last=Shibata Alnajjar |first=Fady |last2=Yamashita |first2=Yuichi |last3=Tani |first3=Jun |date=2013 |title=The hierarchical and functional connectivity of higher-order cognitive mechanisms: neurorobotic model to investigate the stability and flexibility of working memory |journal=Frontiers in Neurorobotics |volume=7 |pages=2 |doi=10.3389/fnbot.2013.00002 |pmc=3575058 |pmid=23423881}}</ref>。こういった変化に富んだ神経活動により、一連の挙動の連続的変化が再使用可能なプリミティブへと分割され、それらは次に多様な逐次的挙動へと柔軟に統合される。こういった種類の階層の生物学的同意は、[[ジェフ・ホーキンス]]による著書『{{仮リンク|考える脳 考えるコンピューター |en|On Intelligence}}』（2005年）中の脳機能の{{仮リンク|自己連想記憶理論|en|memory-prediction framework}}において議論された{{Citation needed|date=June 2017}}。

===ニューラルチューリングマシン===
{{Main|ニューラルチューリングマシン}}

{{仮リンク|ニューラルチューリングマシン|en|Neural Turing machine}}（Neural Turing machine、NTM）は、回帰型ニューラルネットワークを外部[[記憶]]装置を連結することによってそれらを拡張する手法である。RNNは注意（attention）過程によって外部記憶装置と相互作用できる。組み合わされた系は[[チューリングマシン]]または[[ノイマン型|フォン・ノイマン構造]]と類似しているが、端から端まで{{仮リンク|微分可能ニューラルコンピュータ|en|Differentiable neural computer|label=微分可能}}であり、これによって[[最急降下法]]を用いて効率的に学習することが可能となる<ref>{{cite arxiv |eprint=1410.5401 |title= Neural Turing Machines |last1= Graves |first1= Alex |last2= Wayne |first2= Greg |last3= Danihelka |first3= Ivo |year= 2014|class= cs.NE }}</ref>。

===微分可能ニューラルコンピュータ===
{{main|微分可能ニューラルコンピュータ}}
微分可能ニューラルコンピュータ（differentiable neural computer、DNC）はニューラルチューリングマシンの拡張であり、曖昧な量の個々のメモリアドレスと出来事の配列の記憶を使うことができる。

===ニューラルネットワーク・プッシュダウン・オートマトン===
ニューラルネットワーク・[[プッシュダウン・オートマトン]]（NNPDA）はNTMと似ているが、（入力）テープは微分可能で、訓練される類似スタックによって置き換えられる。このようにして、NNPDAは[[文脈自由文法]]（CFG）の認識器と複雑さが似ている<ref>{{Cite book |title=Adaptive Processing of Sequences and Data Structures |chapter=The Neural Network Pushdown Automaton: Architecture, Dynamics and Training |last=Sun |first=Guo-Zheng |last2=Giles |first2=C. Lee |last3=Chen |first3=Hsing-Hen |date=1998 |publisher=Springer Berlin Heidelberg |isbn=9783540643418 |editor-last=Giles |editor-first=C. Lee |series=Lecture Notes in Computer Science |pages=296–345 |doi=10.1007/bfb0054003 |editor-last2=Gori |editor-first2=Marco|citeseerx=10.1.1.56.8723 }}</ref>。

=== 線形回帰 ===
線形回帰（{{lang-en-short|linear recurrence}}）は非線形活性化関数を持たない回帰モジュール・レイヤーである。

RNNを含むニューラルネットワークは定義としては'''非線形'''活性化関数を必要としない<ref>"letting μ be the value of the recurrent weight, and assuming for simplicity that the units are linear ..., the activation of the output unit at time t is given by <math>x_2(t) = \mu x_2(t-1) + w_{21} x_1(t)</math>" Jordan, M.I. (1986). ''Serial order: A parallel distributed processing approach''. (Tech. Rep. No. 8604). San Diego: University of California, Institute for Cognitive Science.</ref>。しかし実践的にはほぼ必ず[[シグモイド関数]]などの非線形変換を導入している。ゆえに状態 <math>h_{t-1}</math> が回帰する際、<math>h_{t-1}</math> は非線形変換されたうえで <math>f(x_t, h_{t-1})</math> へ回帰していることになる<ref>"popular RNN models are nonlinear sequence models with activation functions between each time step." Albert Gu, et al. (2021). ''Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers''.</ref>。この系列・時間方向への非線形変換を無くし'''線形回帰'''とするモジュール・レイヤーが提案されている<ref>Albert Gu, et al. (2020). ''[https://proceedings.neurips.cc/paper/2020/hash/102f0bb6efb3a6128a3c750dd16729be-Abstract.html HiPPO: Recurrent Memory with Optimal Polynomial Projections]''. NeurIPS 2020.</ref><ref>"LSSLs are recurrent. ... LSSL can be discretized into a linear recurrence ... as a stateful recurrent model" Albert Gu, et al. (2021). ''Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers''.</ref><ref>Albert Gu, et al. (2021). ''Efficiently Modeling Long Sequences with Structured State Spaces''.</ref>。

==訓練==

===最急降下法===
{{Main|最急降下法}}
最急降下法は、関数の極小値を探し出すための一次の[[反復法 (数値計算)|反復]]的[[数理最適化|最適化]][[アルゴリズム]]である。ニューラルネットワークでは、非線形[[活性化関数]]が[[微分可能関数|可微分]]であるという条件で、重みに関する誤差の微分係数に比例して個々の重みを変化させることによって誤差項を最小化するために使うことができる。これを行うための様々な手法は{{仮リンク|ポール・ワーボス|en|Paul Werbos|label=ワーボス}}、{{仮リンク|ロナルド・J・ウィリアムス|en|Ronald J. Williams|label=ウィリアムス}}、{{仮リンク|トニー・ロビンソン (音声認識)|en|Tony Robinson (speech recognition)|label=ロビンソン}}、{{仮リンク|ユルゲン・シュミットフーバー|en|Jürgen Schmidhuber|label=シュミットフーバー}}、{{仮リンク|ゼップ・ホッフライター|en|Sepp Hochreiter|label=ホッフライター}}、パールマターらによって1980年代と1990年代初頭に開発された。

標準的手法は「{{仮リンク|通時的誤差逆伝播法|en|Backpropagation through time}}（Backpropagation through time、BPTT）」と呼ばれ、順伝播型ネットワークのための[[誤差逆伝播法]]の一般化である<ref>{{Cite journal|last=Werbos|first=Paul J.|title=Generalization of backpropagation with application to a recurrent gas market model|url=http://linkinghub.elsevier.com/retrieve/pii/089360808890007X|journal=Neural Networks|volume=1|issue=4|pages=339–356|doi=10.1016/0893-6080(88)90007-x|year=1988}}</ref><ref>{{cite book|url={{google books |plainurl=y |id=Ff9iHAAACAAJ}}|title=Learning Internal Representations by Error Propagation|last=Rumelhart|first=David E.|publisher=Institute for Cognitive Science, University of California, San Diego|year=1985}}</ref>。誤差逆伝播法と同様に、BPTTは{{仮リンク|ポントリャーギンの最大値原理|en|Pontryagin's maximum principle|label=ポントリャーギンの最小値原理}}の後ろ向き連鎖（reverse accumulation）モードにおける[[自動微分]]の実例である。計算コストがより高いオンライン版は「実時間リカレント学習（Real-Time Recurrent Learning、RTRL）」と呼ばれる<ref>{{cite book|url={{google books |plainurl=y |id=6JYYMwEACAAJ}}|title=The Utility Driven Dynamic Error Propagation Network. Technical Report CUED/F-INFENG/TR.1|last=Robinson|first=A. J.|publisher=University of Cambridge Department of Engineering|year=1987|isbn=|location=|pages=}}</ref><ref>{{cite book|url={{google books |plainurl=y |id=B71nu3LDpREC}}|title=Backpropagation: Theory, Architectures, and Applications|editor-last1=Chauvin|editor-first1=Yves|editor-last2=Rumelhart|editor-first2=David E.|first1=R. J. |last1=Williams |first2=D. |last2=Zipser. Gradient-based learning algorithms for recurrent networks and their computational complexity |date=1 February 2013|publisher=Psychology Press|isbn=978-1-134-77581-1}}</ref>。これは、積み重ねられた[[接ベクトル]]を持つ前向き連鎖（forward accumulation）モードにおける自動微分の実例である。BPTTとは異なり、このアルゴリズムは時間について局所的だが、空間については局所的でない。

この文脈において、空間について局所的とは、単一ユニットの更新計算量が重みベクトルの次元において線形であるように、ユニットの重みベクトルが結合されたユニットとユニットそれ自身に蓄えられた情報のみを用いて更新できることを意味する。時間について局所的とは、更新が連続的に（オンラインで）起こり、BPTTのように任意の時間地平線内の複数の時間ステップではなく最も近い時間ステップにのみ依存することを意味する。生物学的ニューラルネットワークは時間と空間の両方に関して局所的であるように見える<ref>{{Cite journal|last=SCHMIDHUBER|first=JURGEN|date=1989-01-01|title=A Local Learning Algorithm for Dynamic Feedforward and Recurrent Networks|journal=Connection Science|volume=1|issue=4|pages=403–412|doi=10.1080/09540098908915650}}</ref><ref name="PríncipeEuliano2000">{{cite book|first1=José C. |last1=Príncipe|first2=Neil R.|last2= Euliano|first3=W. Curt |last3=Lefebvre|title=Neural and adaptive systems: fundamentals through simulations|url={{google books |plainurl=y |id=jgMZAQAAIAAJ}}|year=2000|publisher=Wiley|isbn=978-0-471-35167-2}}</ref>。

偏微分の再帰的計算について、RTRLは[[ヤコビ行列]]を計算するために時間ステップ毎にO(隠れ層の数 × 重みの数) の時間計算量を持つのに対して、BPTTは任意の時間地平線内の全ての順方向活性化を記憶するという代償を払って、時間ステップ毎にO(重みの数) しか取らない<ref name="Ollivier2015">{{Cite arxiv|last=Yann|first=Ollivier|last2=Corentin|first2=Tallec|last3=Guillaume|first3=Charpiat|date=2015-07-28|title=Training recurrent networks online without backtracking|eprint=1507.07680|class=cs.NE}}</ref>。BPTTとRTRLの中間の計算量を持つオンラインハイブリッド版<ref>{{Cite journal|last=Schmidhuber|first=Jürgen|date=1992-03-01|title=A Fixed Size Storage O(n3) Time Complexity Learning Algorithm for Fully Recurrent Continually Running Networks|journal=Neural Computation|volume=4|issue=2|pages=243–248|doi=10.1162/neco.1992.4.2.243}}</ref><ref>{{cite journal|first=R. J. |last=Williams |title=Complexity of exact gradient computation algorithms for recurrent neural networks. Technical Report Technical Report NU-CCS-89-27 |location=Boston |publisher=Northeastern University, College of Computer Science |year=1989|url=http://citeseerx.ist.psu.edu/showciting?cid=128036}}</ref>や、連続時間版<ref>{{Cite journal|last=Pearlmutter|first=Barak A.|date=1989-06-01|title=Learning State Space Trajectories in Recurrent Neural Networks|journal=Neural Computation|volume=1|issue=2|pages=263–269|doi=10.1162/neco.1989.1.2.263|url=https://doi.org/10.1162/neco.1989.1.2.263}}</ref>が存在する。


標準的なRNN構造に対する最急降下法の大きな問題は、[[勾配消失問題|誤差勾配]]が重要な事象間の時間差の大きさに伴い指数関数的に急速に消失することである<ref name="hochreiter1991" /><ref name="HOCH2001">{{cite book|chapter-url={{google books |plainurl=y |id=NWOcMVA64aAC}}|title=A Field Guide to Dynamical Recurrent Networks|last=Hochreiter|first=S.|display-authors=etal|date=15 January 2001|publisher=John Wiley & Sons|isbn=978-0-7803-5369-5|location=|pages=|chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|editor-last2=Kremer|editor-first2=Stefan C.|editor-first1=John F.|editor-last1=Kolen}}</ref>。BPTT/RTRL混成学習手法を組み合わされたLSTMはこれらの問題の克服を試みている<ref name="lstm">{{Cite journal|last=Hochreiter|first=Sepp|author-link=Sepp Hochreiter|last2=Schmidhuber|first2=Jürgen|date=1997-11-01|title=Long Short-Term Memory|journal=Neural Computation|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|author-link2=Jürgen Schmidhuber}}</ref>。この問題は、ニューロンの文脈をそれ自身の過去状態に減らすことによって独立回帰型ニューラルネットワーク（IndRNN）<ref name="auto"/>でも解決され、次にニューロン横断的情報は続く層において探索できる。長期記憶を含む異なる範囲の記憶は勾配消失および爆発問題を起こさずに学習できる。

因果的再帰誤差逆伝播法（causal recursive backpropagation、CRBP）は、局所的に回帰したネットワークのためにBPTTおよびRTRL枠組みを実装し、組み合わせる<ref>{{Cite journal|last=Campolucci|last2=Uncini|first2=A.|last3=Piazza|first3=F.|last4=Rao|first4=B. D.|year=1999|title=On-Line Learning Algorithms for Locally Recurrent Neural Networks|journal=IEEE Transactions on Neural Networks|volume=10|issue=2|pages=253–271|doi=10.1109/72.750549|pmid=18252525|citeseerx=10.1.1.33.7550}}</ref>。CRBPは最も一般的な局所回帰型ネットワークと連携する。CRBPアルゴリズムは大域誤差項を最小化できる。この事実はアルゴリズムの安定性を向上し、これは局所フィードバックを持つ回帰型ネットワークのための勾配計算技法に関する統一的な概観をもたらす。

任意の構造を持つRNNにおける勾配情報の計算のためのある手法は、シグナルフローグラフ図式導出（signal-flow graphs diagrammatic derivation）に基づく<ref>{{Cite journal|last1=Wan|first1=E. A.|last2=Beaufays|first2=F.|year=1996|title=Diagrammatic derivation of gradient algorithms for neural networks|url=https://doi.org/10.1162/neco.1996.8.1.182|journal=Neural Computation|volume=8|pages=182–201|doi=10.1162/neco.1996.8.1.182}}</ref>。この手法はBPTTバッチアルゴリズムを用い、ネットワーク感度計算に関するLeeの定理に基づく<ref name="ReferenceA">{{Cite journal|last1=Campolucci|first1=P.|last2=Uncini|first2=A.|last3=Piazza|first3=F.|year=2000|title=A Signal-Flow-Graph Approach to On-line Gradient Calculation|url=|journal=Neural Computation|volume=12|issue=8|pages=1901–1927|doi=10.1162/089976600300015196|citeseerx=10.1.1.212.5406}}</ref>。これはWanおよびBeaufaysによって提案されたが、その高速なオンライン版はCampolucci、Uncini、およびPiazzaによって提案された<ref name="ReferenceA"/>。

===大域的最適化手法===
ニューラルネットワークにおける重みの訓練は、非線形{{仮リンク|大域的最適化|en|Global optimization}}問題としてモデル化できる。目的関数は、以下のように特定の重みベクトルの適合度または誤差を評価するために作ることができる。第一に、ネットワークの重みは重みベクトルにしたがって設定される。次に、ネットワークは訓練配列に対して評価される。典型的には、予測値と訓練配列中で指定される目標値との間の差分二乗和が現在の重みベクトルの誤差を表わすために使われる。任意の大域的最適化技法を次に目的関数を最小化するために使うことができる。

RNNを訓練するための最も一般的な大域的最適化手法は[[遺伝的アルゴリズム]]である（特に非構造化ネットワークにおいて）<ref>{{citation|title=IJCAI 99|year=1999|last1=Gomez|last2=Miikkulainen|first1=F. J.|first2=R.|contribution=Solving non-Markovian control tasks with neuroevolution|contribution-url=http://www.cs.utexas.edu/users/nn/downloads/papers/gomez.ijcai99.pdf|publisher=Morgan Kaufmann|accessdate=5 April 2019}}</ref><ref>{{cite web|url=http://arimaa.com/arimaa/about/Thesis/|title=Applying Genetic Algorithms to Recurrent Neural Networks for Learning Network Parameters and Architecture|publisher=|accessdate=2019-04-05}}</ref><ref>{{Cite journal|last=Gomez|first=Faustino|last2=Schmidhuber|first2=Jürgen|last3=Miikkulainen|first3=Risto|date=June 2008|title=Accelerated Neural Evolution Through Cooperatively Coevolved Synapses|url=http://dl.acm.org/citation.cfm?id=1390681.1390712|journal=J. Mach. Learn. Res.|volume=9|pages=937–965}}</ref>。

最初に、遺伝的アルゴリズムは[[染色体]]中の1つの[[遺伝子]]が1つの重み結合を表わす所定のやり方でニューラルネットワーク重みを使ってエンコードされる。全ネットワークは単一の染色体として表わされる。[[適応度#適応度関|数適応度関数]]は以下のように評価される。
* 染色体中にコードされた個々の重みはネットワークの個別の重み結合へと割り当てられる。
* 訓練セットは入力シグナルを前向きに伝播するネットワークへと提示される。
* [[平均二乗誤差]]が適応度関数に返される。
* この関数が遺伝的選択過程を駆動する。
多くの染色体が集団を作り上げる。しあたがって、多くの異なるニューラルネットワークは停止基準が満されるまで進化する。一般的な停止スキームは、
* ニューラルネットワークが訓練データの一定のパーセンテージを学習した時、または
* 平均二乗誤差の最小値が満された時、または
* 訓練世代の最大値に逹した時
である。停止基準は、訓練中の個々のネットワークからの平均二乗誤差の逆数を得る適応度関数によって評価される。したがって、遺伝的アルゴリズムの目標は適応度関数を最大化する（これによって平均二乗誤差が減少する）ことである。

[[焼きなまし法]]または[[粒子群最適化]]といった他の大域的（と進化的の両方またはいずれか一方）最適化技法を良い重みのセットを探すために使うことができる。

== 評価 ==
RNNモデルの性能は様々なタスク・指標を用いて評価される。以下はその一例である。

=== Copyingタスク ===
Copyingタスクは系列処理モデルの'''記憶力'''を評価するために「最初に提示された数字の並びを最後に思い出す」タスクである<ref>"Copying task. This standard RNN task ... directly tests memorization, where models must regurgitate a sequence of tokens seen at the beginning of the sequence." Gu, et al. (2020). ''[[arxiv:2008.07669|HiPPO: Recurrent Memory with Optimal Polynomial Projections]]''.</ref>。

モデルにはまず <math>\{1,\ ...,\  8\}</math> からランダムサンプリングされた10個の入力が連続して渡され（記憶ステップ）、次にL個の <math>0</math> が渡され（保持ステップ）、最後に <math>9</math> が10連続で渡される（想起ステップ）。モデルは最初の10個の数字を覚え、Lステップ続く <math>0</math> の間それを覚えておき、<math>9</math> に応答して最初の10個の数字を順番通り出力しなければならない<ref>" the first 10 tokens (a0, a1, . . . , a9) are randomly chosen from {1, . . . , 8}, the middle N tokens are set to 0, and the last ten tokens are 9.  The goal of the recurrent model is to output (a0, . . . , a9) in order on the last 10 time steps, whenever the cue token 9 is presented." Gu, et al. (2020). ''[[arxiv:2008.07669|HiPPO: Recurrent Memory with Optimal Polynomial Projections]]''.</ref>。下の擬似コードが入力と理想的な出力である。

<syntaxhighlight lang="python3">
#  |    memorize   |   hold   |   recall  |
i = [1,4,2,2,...,3, 0,0,...,0, 9,9,9,...,9]
o = [0,0,0,.................0, 1,4,2,...,3]
</syntaxhighlight>

Copyingタスクは長期のタイムラグを跨いで記憶を保持するタスクであり<ref>"ability to recall exactly data seen a long time ago." Arjovsky, et al. (2015). ''[[arxiv:1511.06464|Unitary Evolution Recurrent Neural Networks]]''.</ref>、長期記憶を直接評価する標準的なタスクである。シンプルながら難しいことが知られており、エルマンネット等の単純RNNはこのタスクを解けず、[[LSTM]]もL=100を部分的にしか学習できないことが知られている<ref>Figure 1 of Arjovsky, et al. (2015). ''[[arxiv:1511.06464|Unitary Evolution Recurrent Neural Networks]]''.</ref><ref>Figure 7 of Gu, et al. (2020). ''[[arxiv:2008.07669|HiPPO: Recurrent Memory with Optimal Polynomial Projections]]''.</ref>。

==関連分野およびモデル==
RNNは[[カオス理論|カオス的]]に振る舞いうる。こういった場合、[[力学系理論]]を分析のために使うことができる。

RNNは実のところ具体的な構造（直鎖構造）を持つ[[再帰型ニューラルネットワーク]]である。再帰型ニューラルネットワークは、子供表現を親表現へと統合するいかなる階層構造上でも動作するが、回帰型ニューラルネットワークは以前の時間ステップおよび隠れ表現を現在の時間ステップ表現へと統合する直線的時間進行上で動作する。

具体的には、RNNは[[有限インパルス応答]]および[[無限インパルス応答]]フィルターの非線形版として見ることができ、また{{仮リンク|非線形自己回帰外因性モデル|en|Nonlinear autoregressive exogenous model}}（nonlinear autoregressive exogenous model、NARX）と見ることもできる<ref>{{cite book|url={{google books |plainurl=y |id=830-HAAACAAJ|page=208}}|title=Computational Capabilities of Recurrent NARX Neural Networks|last=Siegelmann|first=Hava T.|last2=Horne|first2=Bill G.|last3=Giles|first3=C. Lee|publisher=University of Maryland|year=1995|pp=208–215}}</ref>。

==ライブラリ==
主要な[[ディープラーニング]]ライブラリ（例: [[PyTorch]]/[[Caffe]]/{{仮リンク|Torch|en|Torch (machine learning)}}, [[TensorFlow]]/[[Keras]], [[Chainer]], [[Deeplearning4j]], [[DyNet]], [[Microsoft Cognitive Toolkit]], {{仮リンク|Apache MXNet|en|Apache MXNet|label=MXNet}}, {{仮リンク|Theano|en|Theano (software)}}）や機械学習ライブラリ（例: {{仮リンク|Apache SINGA|en|Apache SINGA}}）がRNNの学習と推論をサポートしている。

==応用==
回帰型ニューラルネットワークの応用:
*[[機械翻訳]]
*{{仮リンク|ロボット制御|en|Robot control}}<ref>{{Cite book|last=Mayer|first=H.|last2=Gomez|first2=F.|last3=Wierstra|first3=D.|last4=Nagy|first4=I.|last5=Knoll|first5=A.|last6=Schmidhuber|first6=J.|date=October 2006|title=A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks|url=http://ieeexplore.ieee.org/document/4059310/|journal=2006 IEEE/RSJ International Conference on Intelligent Robots and Systems|pages=543–548|doi=10.1109/IROS.2006.282190|isbn=978-1-4244-0258-8|citeseerx=10.1.1.218.3399}}</ref>
*[[時系列|時系列予想]]<ref>{{Cite journal|last=Wierstra|first=Daan|last2=Schmidhuber|first2=J.|last3=Gomez|first3=F. J.|date=2005|title=Evolino: Hybrid Neuroevolution/Optimal Linear Search for Sequence Learning|url=https://www.academia.edu/5830256|journal=Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI), Edinburgh|volume=|pages=853–858|via=}}</ref>
*[[音声認識]]<ref>{{cite journal | last1 = Graves | first1 = A. | last2 = Schmidhuber | first2 = J. | year = 2005 | title = Framewise phoneme classification with bidirectional LSTM and other neural network architectures | url = | journal = Neural Networks | volume = 18 | issue = 5–6| pages = 602–610 | doi=10.1016/j.neunet.2005.06.042| pmid = 16112549 | citeseerx = 10.1.1.331.5800 }}</ref><ref>{{Cite book|last=Fernández|first=Santiago|last2=Graves|first2=Alex|last3=Schmidhuber|first3=Jürgen|date=2007|title=An Application of Recurrent Neural Networks to Discriminative Keyword Spotting|url=http://dl.acm.org/citation.cfm?id=1778066.1778092|journal=Proceedings of the 17th International Conference on Artificial Neural Networks|series=ICANN'07|location=Berlin, Heidelberg|publisher=Springer-Verlag|pages=220–229|isbn=978-3540746935}}</ref><ref name="graves2013">{{cite journal|last2=Mohamed|first2=Abdel-rahman|last3=Hinton|first3=Geoffrey|date=2013|title=Speech Recognition with Deep Recurrent Neural Networks|journal=Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on|pages=6645–6649|last1=Graves|first1=Alex}}</ref>
* 時系列異常検出<ref>{{Cite journal|last=Malhotra|first=Pankaj|last2=Vig|first2=Lovekesh|last3=Shroff|first3=Gautam|last4=Agarwal|first4=Puneet|date=April 2015|title=Long Short Term Memory Networks for Anomaly Detection in Time Series|url=https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2015-56.pdf|journal=European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning — ESANN 2015}}</ref>
*リズム学習<ref name="peephole2002">{{cite journal | last1 = Gers | first1 = F. | last2 = Schraudolph | first2 = N. | last3 = Schmidhuber | first3 = J. | year = 2002 | title = Learning precise timing with LSTM recurrent networks | url = http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf | journal = Journal of Machine Learning Research | volume = 3 | issue = | pages = 115–143 }}</ref>
*作曲<ref>{{Cite book|last=Eck|first=Douglas|last2=Schmidhuber|first2=Jürgen|date=2002-08-28|title=Learning the Long-Term Structure of the Blues|journal=Artificial Neural Networks — ICANN 2002|volume=2415|publisher=Springer, Berlin, Heidelberg|pages=284–289|doi=10.1007/3-540-46084-5_47|isbn=978-3540460848|series=Lecture Notes in Computer Science|citeseerx=10.1.1.116.3620}}</ref>
*文法学習<ref>{{cite journal | last1 = Schmidhuber | first1 = J. | last2 = Gers | first2 = F. | last3 = Eck | first3 = D. | last4 = Schmidhuber | first4 = J. | last5 = Gers | first5 = F. | year = 2002 | title = Learning nonregular languages: A comparison of simple recurrent networks and LSTM | url = | journal = Neural Computation | volume = 14 | issue = 9| pages = 2039–2041 | doi=10.1162/089976602320263980| pmid = 12184841 | citeseerx = 10.1.1.11.7369 }}</ref><ref name="peepholeLSTM">{{cite journal | last1 = Gers | first1 = F. A. | last2 = Schmidhuber | first2 = J. | year = 2001 | title = LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages | url = ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf | journal = IEEE Transactions on Neural Networks | volume = 12 | issue = 6| pages = 1333–1340 | doi=10.1109/72.963769| pmid = 18249962 }}</ref><ref>{{cite journal | last1 = Perez-Ortiz | first1 = J. A. | last2 = Gers | first2 = F. A. | last3 = Eck | first3 = D. | last4 = Schmidhuber | first4 = J. | year = 2003 | title = Kalman filters improve LSTM network performance in problems unsolvable by traditional recurrent nets | url = | journal = Neural Networks | volume = 16 | issue = 2| pages = 241–250 | doi=10.1016/s0893-6080(02)00219-8| citeseerx = 10.1.1.381.1992 }}</ref>
*[[手書き文字認識]]<ref>A. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22, NIPS'22, pp 545–552, Vancouver, MIT Press, 2009.</ref><ref>{{Cite book|last=Graves|first=Alex|last2=Fernández|first2=Santiago|last3=Liwicki|first3=Marcus|last4=Bunke|first4=Horst|last5=Schmidhuber|first5=Jürgen|date=2007|title=Unconstrained Online Handwriting Recognition with Recurrent Neural Networks|url=http://dl.acm.org/citation.cfm?id=2981562.2981635|journal=Proceedings of the 20th International Conference on Neural Information Processing Systems|series=NIPS'07|location=USA|publisher=Curran Associates Inc.|pages=577–584|isbn=9781605603520}}</ref>
*人物行動認識<ref>M. Baccouche, F. Mamalet, C Wolf, C. Garcia, A. Baskurt. Sequential Deep Learning for Human Action Recognition. 2nd International Workshop on Human Behavior Understanding (HBU), A.A. Salah, B. Lepri ed. Amsterdam, Netherlands. pp. 29–39. Lecture Notes in Computer Science 7065. Springer. 2011</ref>
*タンパク質相同性検出<ref>{{Cite journal
| last1 = Hochreiter | first1 = S.
| last2 = Heusel | first2 = M.
| last3 = Obermayer | first3 = K.
| doi = 10.1093/bioinformatics/btm247
| title = Fast model-based protein homology detection without alignment
| journal = Bioinformatics
| volume = 23
| issue = 14
| pages = 1728–1736
| year = 2007
| pmid = 17488755
| pmc =
}}</ref>
*タンパク質の細胞内局在の予測<ref>{{cite journal | last1 = Thireou | first1 = T. | last2 = Reczko | first2 = M. | year = 2007 | title = Bidirectional Long Short-Term Memory Networks for predicting the subcellular localization of eukaryotic proteins | url = | journal = IEEE/ACM Transactions on Computational Biology and Bioinformatics (TCBB) | volume = 4 | issue = 3| pages = 441–446 | doi=10.1109/tcbb.2007.1015| pmid = 17666763 }}</ref>
*[[ビジネスプロセス管理]]の分野におけるいくつかの予測課題<ref>{{cite book | last1 = Tax| first1 = N. | last2 = Verenich | first2 = I. | last3 = La Rosa | first3 = M. | last4 = Dumas | first4 = M. | year = 2017 | title = Predictive Business Process Monitoring with LSTM neural networks | journal = Proceedings of the International Conference on Advanced Information Systems Engineering (CAiSE) | volume = 10253 | pages = 477–492| doi=10.1007/978-3-319-59536-8_30| series = Lecture Notes in Computer Science | isbn = 978-3-319-59535-1 | arxiv = 1612.02130 }}</ref>
*医療パスにおける予測<ref>{{cite journal | last1 = Choi| first1 = E. | last2 = Bahadori| first2 = M.T. | last3 = Schuetz | first3 = E. | last4 = Stewart| first4 = W. | last5 = Sun| first5 = J. | year = 2016 | title = Doctor AI: Predicting Clinical Events via Recurrent Neural Networks | url = http://proceedings.mlr.press/v56/Choi16.html | journal = Proceedings of the 1st Machine Learning for Healthcare Conference | pages = 301–318| doi=}}</ref>

==出典==
{{reflist|30em}}

==参考文献==
{{refbegin}}
*{{cite book|和書|title=深層学習|series=機械学習プロフェッショナルシリーズ|author=岡谷貴之|publisher=講談社|year=2015|isbn=978-4061529021}}
*{{cite book |author1=Mandic, D. |author2=Chambers, J. |name-list-style=amp | title=Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability | publisher=Wiley | year=2001 | isbn=0-471-49517-4}}
{{refend}}

==外部リンク==
*[https://github.com/zhongkaifu/RNNSharp RNNSharp] 回帰型ニューラルネットワークに基づく条件付き確率場 ([[C Sharp|C#]], [[.NET Framework|.NET]])
*[http://www.idsia.ch/~juergen/rnn.html Recurrent Neural Networks] Dalle Molle人工知能研究所([[Dalle Molle Institute for Artificial Intelligence Research]])ユルゲン・シュミットフーバーのグループ による60以上のRNNに関する論文集
*[https://jsalatas.ictpro.gr/weka/ Elman Neural Network implementation] for [[WEKA]]
*[http://deeplearning4j.org/recurrentnetwork Recurrent Neural Nets & LSTMs in Java]

{{Normdaten}}
{{DEFAULTSORT:かいきかたにゆうらるねつとわあく}}
[[Category:人工知能]]
[[Category:人工ニューラルネットワーク]]