ニューラルネットワークのソースを表示

{{Redirectlist|ニューロ|アメリカ企業|ニューロ (企業)|日本のインターネットサービスプロバイダ|NURO 光}}
{{Machine learning bar}}
（人工知能の分野で）'''ニューラルネットワーク'''（{{lang-en-short|neural network}}; NN、神経網）は、[[生物]]の[[学習]]メカニズムを[[模倣]]した[[機械学習]]手法として広く知られているものであり<ref name="Aggarwal_p1">Charu C.Aggarwal著『ニューラルネットワークとディープラーニング』（データサイエンス大系シリーズ）、[[学術図書出版社]]、2022年。ISBN 978-4780607147, 第一章「ニューラルネットワークとは」「はじめに」、pp.1-2</ref>、「ニューロン」と呼ばれる計算ユニットをもち、生物の[[神経系]]のメカニズムを模倣しているものである<ref name="Aggarwal_p1" />。人間の脳の神経網を模した数理モデル<ref name="Kyokasho_2020">『2020年版 基本情報技術者 標準教科書』オーム社、p.55 </ref>。模倣対象となった生物のニューラルネットワーク（神経網）とはっきり区別する場合は、'''人工ニューラルネットワーク''' ({{lang-en-short|artificial neural network}}) と呼ばれる。

以下では説明の都合上{{Efn|用語が繰り返されるので。}}、人工的なニューラルネットワークのほうは「人工ニューラルネットワーク」あるいは単に「ニューラルネットワーク」と呼び、生物のそれは「生物のニューラルネットワーク」あるいは「生物の神経網」、ヒトの頭脳のそれは「ヒトのニューラルネットワーク」あるいは「ヒトの神経網」と表記することにする。

== 概要 ==
[[File:Blausen 0657 MultipolarNeuron.png|thumb|right|300px|生物のニューロン]]
人工ニューラルネットワークを理解するには、そもそもそれがどのようなものを[[模倣]]しようとしているの知っておく必要があるので説明する。ヒトの神経系には[[ニューロン]]という細胞があり、ニューロン同士は互いに[[軸索]] (axon) と[[樹状突起]] (dendrite) を介して繋がっている。ニューロンは樹状突起で他の神経細胞から情報を受け取り、細胞内で情報処理してから、軸索で他のニューロンに情報を伝達する<ref name="Neurosurgery">平塚秀雄『よくわかる脳神経外科学』金原出版、1996, pp.14-15「神経細胞とニューロン」</ref>。そして、軸索と樹状突起が結合する部分を[[シナプス]](synapse)という<ref name="Neurosurgery" /><ref name="Aggarwal_p1" />（右図も参照。クリックして拡大して見ていただきたい。紫色の部分がひとつのニューロンであり、Dendrite, Axonなどが示されている。）。　このシナプスの結合強度というのは、外的な刺激に反応してちょくちょく変化する。このシナプス結合強度の変化こそが生物における「学習」のメカニズムである<ref name="Aggarwal_p1" />。{{Efn|ニューラルネットワークという用語はもともとは生物の[[神経網]]（神経系）を指している。網（ネットワーク）と形容されるのは、実際、網のように広がっているからである。1つの[[神経細胞]]は他の神経細胞からの入力を[[シナプス]]で重み付けして受け取り、細胞体等での処理を介して、次の複数の神経細胞へと出力する。これらの結合により神経細胞群は全体としてネットワークを形成する。[[数理モデル]]化すると、ニューロンは入力の[[線形変換]]を含む1つの処理単位であり、これがネットワークを形成しているということになる。}}

[[File:Artificial neural network.png|thumb|right|300px|[[人工ニューロン]]]]
ヒトの神経網を模した人工ニューラルネットワークでは、計算ユニットが《重み》を介して繋がり、この《重み》がヒトの神経網のシナプス結合の「強度」と似た役割を担っている<ref name="Aggarwal_p1" />。各ユニットへの入力は《重み》によって強さが変化するように作られており、ユニットにおける関数計算に影響を与える。ニューラルネットワークというのは、入力用ニューロンから出力用ニューロンへと向かって計算値を伝播させてゆくが、その過程で《重み》をパラメータとして利用し、入力の関
数を計算する。（ただし計算値が出力用ニューロンへと伝播されてゆくというだけでは入力パターンからある決まった出力パターンが出るだけなので、さほど有益というわけではない<ref name="Hirano_p27">平野廣美『C++とJavaでつくるニューラルネットワーク』パーソナルメディア株式会社、2008、p.27「学習することは重みが変わること」</ref>。）《重み》が変化することで「学習」が起きる<ref name="Aggarwal_p1" />（ここが重要なのである<ref name="Hirano_p27" />）。
:（右図も参照のこと。右図で「weights」や、丸で囲まれた「w」が縦に並んでいるのが《重み》である。）
生物のニューラルネットワークに与えられる外的刺激に相当するものとして、人工ニューラルネットワークでは「訓練データ」が与えられる<ref name="Aggarwal_p1" />。いくつか方法があるが、たとえば訓練データとして入力データと出力ラベルが与えられ、たとえば何かの画像データとそれについての正しいラベルが与えられる（たとえばリンゴの画像データとappleというラベル、オレンジの画像データとorangeというラベルが与えられる）。ある入力に対して予測される出力が本当のラベルとどの程度一致するかを計算することで、ニューラルネットワークの《重み》についてフィードバックを得られ<ref name="Aggarwal_p1" />、ニューロン間の《重み》は誤差（予測誤差）に応じて、誤差が減少するように調整される<ref name="Aggarwal_p1" />。多数のニューロン間で《重み》の調整を繰り返し行うことで次第に計算関数が改善され、より正確な予測をできるようになる。（たとえばオレンジの画像データを提示されると「orange」と正しいラベルを答えられるようになる<ref name="Aggarwal_p1" />。） 
《重み》の調整方法の代表的なものが[[バックプロパゲーション]]である<ref name="Hirano_p27" />。

なお、ヒトのニューロンを模したユニットは[[人工ニューロン]]あるいはノードと呼ばれる。

[[image:Neural_network_picture.png|サムネイル|300x300ピクセル|相互作用ニューラルネットワークモデルの一例]]
右図の、多数のユニットが結合しネットワークを構成している数理モデルは、ニューラルネットワークのほんの一例である。（実際にはニューロンの数もさまざまに設定可能であるし、結合のしかたもさまざまに設定可能である。右図はあくまで、とりあえず説明にとりかかるための "一例" と理解いただきたい。
ユニットの構成（例: 線形変換の次元、非線形変換の有無・種類）やネットワークの構造（例: ユニットの数・階層構造・相互結合、入出力の再帰）に関して様々な選択肢があり、様々なモデルが提唱されている。）

各ユニットは入力の線形変換を必ず含み、多くの場合それに後続する非線形変換を含む（<math>unit(\boldsymbol{x})= \sigma (\boldsymbol{w}\boldsymbol{x})</math>）。

<!--ニューラルネットワークは「入力を線形変換する処理単位」がネットワーク状に結合した数理モデルである{{要出典|date=2023年8月}}。--><!--入力の線形変換を含む処理単位を考える{{要出典|date=2023年8月}}。-->
<!--線形変換の重み（=入力の重み付け）が変化するとニューラルネットワークの出力も変化する。すなわち重みの学習が可能である{{要出典|date=2023年8月}}。-->

ニューラルネットワークは[[機械学習]]のモデルとして利用され、分類・回帰・生成など様々なクラスのタスクに[[教師あり学習|教師あり]]/[[教師なし学習|教師なし]]問わず利用される。利用分野には[[パターン認識]]や[[データマイニング]]（例: 画像認識、レコメンデーション）が挙げられる。学習法は[[誤差逆伝播法]]が主流である。

三層以上のニューラルネットワークは可微分で連続な任意関数を近似できることが証明されている（[[線形分離不可能]]な問題を解ける）。

[[形式ニューロン]]など研究の源流としては生物の神経系の探求であるが、その当初から、それが実際に生物の神経系の[[シミュレーション]]であるか否かについては議論がある<ref group="注釈">2020年現在のところ、「小脳パーセプトロン説」が支持されるなど、「全く無関係」ではない、とされている。</ref>。生物学と相互の進展により、相違点なども研究されている。

== 歴史 ==
第二次世界大戦の最中の[[1943年]]のこと、[[ウォーレン・マカロック]]と[[ウォルター・ピッツ]]が神経回路網理論を提出したが（[[形式ニューロン]]を参照）、この理論は現実の脳と比べてあまりに単純化するものだったので当時はほとんど注目されなかった。また[[1949年]]に[[ドナルド・ヘッブ]]が神経回路の学習理論として発表した 「シナプスの可塑性の理論」 も " 単なる机上の空論 "　の扱いを受けてしまった<ref name="Hirano_9_10">平野廣美『C++とJavaでつくるニューラルネットワーク』パーソナルメディア株式会社、2008、pp.9-10「はじめに」</ref>。

状況が変わりはじめたのは[[1967年]]のことで、同年に[[小脳]]の神経回路網の構造が明らかになり<ref>John C. Eccles, Masao Ito, János Szentágothai(1967), The Cerebellum as a Neuronal Machine, (Springer, New York) [https://marlin.life.utsa.edu/cerebellum-as-a-neuronal-machine.html]</ref>、そのおかげで上述のマカロック、ピッツ、ヘッブらの理論が現実の小脳をうまくモデル化していることが分かり、すでに発表されて10年ほど経っていた[[パーセプトロン]]が俄然ブームとなった<ref name="Hirano_9_10" />。

ところが1970年代になると[[マービン・ミンスキー]]と[[シーモア・パパート]]がパーセプトロンの限界（線形分離不可能なデータの判別問題を扱えないこと）を数学的に証明したことで、神経回路網的手法に対する期待が一気にしぼみ、その研究者の数が急激に減ってしまった<ref name="Hirano_9_10" />。それでも地道な研究を続けていた人はおり<ref name="Hirano_9_10" />、神経回路網を単層から多層化へと拡張するなどが考えられたが当初はパラメータの最適化が困難であった。しかし（1986年に[[デビッド・ラメルハート]]らが[[バックプロパゲーション]]（誤差 逆伝播法）を再発見（再提案）したことで、それまでの限界を突破する道がとうとう開け）　「ニューラルネットワーク」として多くの研究者の注目を浴びるようになった<ref name="Hirano_9_10" />。

=== 年表 ===
* 1943年、[[ウォーレン・マカロック]]と[[ウォルター・ピッツ]]が[[形式ニューロン]]を発表した。
* 1958年、[[フランク・ローゼンブラット]]が[[パーセプトロン]]を発表した。
* 1969年、[[マービン・ミンスキー]]と[[シーモア・パパート]]が著書『パーセプトロン』の中で、単純パーセプトロンは線形分離不可能なパターンを識別できない事を示した。
* 1979年、[[福島邦彦]]が[[ネオコグニトロン]]を発表し、文字認識に使用し、後にこれが畳み込みニューラルネットワークへと発展する。
* 1982年、[[ジョン・ホップフィールド]]によって[[ホップフィールド・ネットワーク]]（[[再帰型ニューラルネットワーク]]）が提案された。
* 1985年、[[ジェフリー・ヒントン]]らにより[[ボルツマンマシン]]が提案された。
* 1986年、[[デビッド・ラメルハート]]らにより誤差逆伝播法（[[バックプロパゲーション]]）が提案（再発見）された。
* 1988年、[[畳み込みニューラルネットワーク]]を本間俊光らが音素の認識に<ref>{{cite journal|last=Homma|first=Toshiteru|author2=Les Atlas |author3=Robert Marks II |title=An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification|journal=Advances in Neural Information Processing Systems 1|year=1988|pages=31–40|url=http://papers.nips.cc/paper/20-an-artificial-neural-network-for-spatio-temporal-bipolar-patterns-application-to-phoneme-classification.pdf}}</ref>、1989年に[[ヤン・ルカン]]らが文字の認識に使用した<ref>{{cite journal
|author=Yann Le Cun
|year=1989
|month=June
|title=Generalization and Network Design Strategies
|url=http://yann.lecun.com/exdb/publis/pdf/lecun-89.pdf
}}</ref><ref>{{cite journal
|author=Y. LeCun
|author2=B. Boser
|author3=J. S. Denker
|author4=D. Henderson
|author5=R. E. Howard
|author6=W. Hubbard
|author7=L. D. Jackel
|title=Backpropagation applied to handwritten zip code recognition
|journal=Neural Computation
|volume=1
|issue=4
|pages=541-551
|year=1989
}}</ref>。LeCunらの多層の畳み込みニューラルネットワークは後に[[ディープラーニング]]の一種に分類されることになる。
* 2006年、[[ジェフリー・ヒントン]]らにより[[オートエンコーダ]]<ref>[http://www.sciencemag.org/content/313/5786/504.short Reducing the Dimensionality of Data with Neural Networks]</ref>および[[:en:Deep belief network|ディープ・ビリーフ・ネットワーク]]<ref>[http://dl.acm.org/citation.cfm?id=1161605 A fast learning algorithm for deep belief nets]</ref>が提案され、この理論が、2010年代に[[ディープラーニング]]と呼ばれる分野を形成した。

== 代表的な人工ニューラルネットワーク ==
<!-- 英語版の記事を参考にしています。 --><!-- [[Wikipedia:翻訳のガイドライン#翻訳記事で翻訳元記事を出典扱いしない]]に基づきコメントアウト -->
=== 順伝播型ニューラルネットワーク===
[[順伝播型ニューラルネットワーク]]（フィードフォワードニューラルネットワーク、{{lang-en-short|Feed-forward Neural Network}}; '''FFN''', '''FFNN'''）は内部に'''循環を持たない'''ニューラルネットワークの総称・クラスである<ref>"A nonrecurrent network has no cycles. Nonrecurrent networks can be thought of as computing an input-output function." Jordan, M.I. (1986). ''Serial order: A parallel distributed processing approach''. (Tech. Rep. No. 8604). San Diego: University of California, Institute for Cognitive Science.</ref>。

ニューラルネットワークではしばしば層（レイヤ）の概念を取り入れる。FFNでは入力レイヤ→中間レイヤ→出力レイヤというように単一方向/'''順'''方向へのみ信号が'''伝播'''する。これは[[回帰型ニューラルネットワーク]]と対比される。層間の結合様式により様々なニューラルネットワークが存在するが、結合様式に関わらず回帰結合を持たないものはすべてFFNに属する。以下はFFNの一例である。
* 単純[[パーセプトロン]]: 1-layer 層間全結合ネットワーク
* [[多層パーセプトロン]]: N-layer 層間全結合ネットワーク
*[[畳み込みニューラルネットワーク]]: N-layer 層間局所結合ネットワーク（c.f. recurrent CNN; RCNN）

==== 並列計算 ====
FFNがもつ特徴に並列計算がある。回帰結合をもつネットワークはシーケンシャルに処理を繰り返す必要があるため、1データに対して時間方向に並列計算できない{{Sfn|Vaswani|Shazeer|Parmar|Uszkoreit|Jones|Gomez|Kaiser|Polosukhin|2017|p=6001}}。FFNは層内で並列計算が可能であり、RNNと比較して容易に並列計算機（例: [[Graphics Processing Unit|GPU]]）の計算能力を上限まで引き出せる<ref group="注釈">RNNの場合、巨大バッチを用いて1stepの計算量を巨大にすればGPUを使いきれるが、実践的にはメモリ上限等の制約が厳しい。</ref>。[[Image:Multi-Layer Neural Network-Vector.svg|lang=none|thumb|多層パーセプトロンの模式図]]

=== RBFネットワーク ===
誤差逆伝播法に用いられる[[活性化関数]]に[[放射基底関数]]を用いたニューラルネットワーク
*{{仮リンク|RBFネットワーク|en|Radial basis function network}}
*{{仮リンク|一般回帰ニューラルネットワーク|en|General regression neural network|label=一般回帰ニューラルネットワーク}}（GRNN、General Regression Neural Network）- 正規化したRBFネットワーク

=== 自己組織化写像 ===
自己組織化写像は[[:en:Teuvo Kohonen|コホネン]]が1982年に提案した[[教師なし学習]]モデルであり、多次元データの[[クラスタリング]]、可視化などに用いられる。自己組織化マップ、コホネンマップとも呼ばれる。
*[[自己組織化写像]]
*{{仮リンク|学習ベクトル量子化|en|Learning Vector Quantization}}
<!-- 
SVMはニューラルネットではないので、コメントアウトしました。
* [[サポートベクターマシン]] (SVM)
-->

[[File:Convolutional Neural Network.gif|thumb|200px|畳み込みニューラルネットワーク]]
=== 畳み込みニューラルネットワーク ===
[[畳み込みニューラルネットワーク]]とは層間が全結合ではない順伝播型ニューラルネットワークの一種。

画像を対象とするために用いられることが多い。

=== 再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット）===
{{See also|回帰型ニューラルネットワーク}}
フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。シーケンシャルなデータに対して有効で、[[自然言語処理]]や[[音声]]、[[動画]]の解析などに利用される<ref>{{Cite journal|last=Yu|first=Yong|last2=Si|first2=Xiaosheng|last3=Hu|first3=Changhua|last4=Zhang|first4=Jianxun|date=2019-07-01|title=A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures|url=https://doi.org/10.1162/neco_a_01199|journal=Neural Computation|volume=31|issue=7|pages=1235–1270|doi=10.1162/neco_a_01199|issn=0899-7667}}</ref>。
* [[ホップフィールド・ネットワーク]]

=== Transformer ===
{{See also|Transformer (機械学習モデル)}}
Self-Attention機構（自己注意機構）を利用したモデルである{{Sfn|Vaswani|Shazeer|Parmar|Uszkoreit|Jones|Gomez|Kaiser|Polosukhin|2017|p=6001}}。再帰型ニューラルネットワークの代替として考案された{{Sfn|Vaswani|Shazeer|Parmar|Uszkoreit|Jones|Gomez|Kaiser|Polosukhin|2017|p=6001}}。

従来の自然言語処理用モデルに比べ計算量が少なく構造も単純なため、自然言語処理に使われることが多い<ref>{{Cite journal|last=Vaswani|first=Ashish|last2=Shazeer|first2=Noam|last3=Parmar|first3=Niki|last4=Uszkoreit|first4=Jakob|last5=Jones|first5=Llion|last6=Gomez|first6=Aidan N.|last7=Kaiser|first7=Lukasz|last8=Polosukhin|first8=Illia|date=2017-12-05|title=Attention Is All You Need|url=https://arxiv.org/abs/1706.03762|journal=arXiv:1706.03762 [cs]}}</ref>。

=== 確率的ニューラルネット ===
乱数による確率的な動作を導入した人工ニューラルネットワークモデル。[[モンテカルロ法]]のような統計的標本抽出手法と考えることができる。
*[[ボルツマンマシン]]
*[[ベイジアンネットワーク]]

=== スパイキングニューラルネットワーク ===
ニューラルネットワークをより生物学的な脳の働きに近づけるため、[[活動電位]]（スパイク）を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニングよりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。

2015年現在、スパイキングNN処理ユニットを積んだコンシューマー向けのチップとしては、[[クアルコム|Qualcomm]]の[[Snapdragon#Snapdragon 425/430/652/820|Snapdragon 820]]が登場する予定となっている<ref>[http://www.cs.utah.edu/asplos14/files/Jeff_Gehlhaar_ASPLOS_Keynote.pdf Neuromorphic Processing : A New Frontier in Scaling Computer Architecture] Qualcomm 2014年</ref><ref>[http://www.extremetech.com/computing/200090-qualcomms-cognitive-compute-processors-are-coming-to-snapdragon-820 Qualcomm’s cognitive compute processors are coming to Snapdragon 820] ExtremeTech 2015年3月2日</ref>。

=== 複素ニューラルネットワーク ===
入出力信号やパラメータ（[[重み]]、[[閾値]]）が[[複素数]]値であるようなニューラルネットワークで[[活性化関数]]は必然的に[[複素関数]]になる<ref name="jCNN">[http://staff.aist.go.jp/tohru-nitta/jCNN.html 複素ニューラルネットワーク]</ref>。

==== 利点 ====
;情報の表現
:入力信号と出力信号が複素数（2次元）であるため、複素数で表現された信号はもとより、2次元情報を自然に表現可能<ref name="jCNN"/>。また特に波動情報（複素振幅）を扱うのに適した汎化能力（回転と拡大縮小）を持ち、エレクトロニクスや量子計算の分野に好適である。四元数ニューラルネットワークは3次元の回転の扱いに優れるなど、高次複素数ニューラルネットワークの利用も進む。
;学習特性
:階層型の複素ニューラルネットワークの学習速度は、実ニューラルネットワークに比べて2〜3倍速く、しかも必要とするパラメータ（重みと閾値）の総数が約半分で済む<ref group="注釈">複素逆誤差伝播学習アルゴリズム（複素BP）を使用した場合。</ref><ref name="jCNN"/>。学習結果は波動情報（複素振幅）を表現することに整合する汎化特性を示す<ref>{{cite journal
|author=Akira Hirose, Shotaro Yoshida
|year=2012
|journal=IEEE TNNLS
|volume=23
|issue=4
|pages=541-551
|title=Generalization Characteristics of Complex-valued Feedforward Neural Networks in Relation to Signal Coherence
}}</ref>。

=== 生成モデル/統計モデル ===
生成モデル（統計モデルとも）は、'''データが母集団の確率分布に従って生成される'''と仮定しそのパラメータを学習するニューラルネットワークの総称である。統計的機械学習の一種といえる。モデル（＝母集団）からのサンプリングによりデータ生成が可能な点が特徴である（詳しくは{{節リンク|推計統計学|統計モデル}}、{{節リンク|機械学習|統計的機械学習}}）。

==== 自己回帰型生成ネット ====
<math>series \sim p(x_t, x_{t-1}, ..., t_0) = \prod_{i=0}^N p(x_t|x_{<t}) = \prod_{i=0}^N NeuralNetwork(x_t|x_{<t})</math>

自己回帰型生成ネット（Autoregressive Generative Network）とは、系列データの生成過程（同時確率分布）を系列の過去データに対する条件付分布の積と考え条件付分布をニューラルネットワークで表現するモデルである。非線形自己回帰生成モデルの一種、詳しくは{{節リンク|自己回帰モデル|非線形自己回帰生成モデル}}。画像生成におけるPixelCNN、音声生成におけるWaveNet・WaveRNNがその例である。学習時は学習データを条件付け（=入力）にできるため、ニューラルネットワーク自体が再帰性を持っていなければ並列学習が容易である（CNN型のWaveNetなど）。ニューラルネットワーク自体に再帰性がある場合は学習時も系列に沿った逐次計算が必要となる（RNN型のWaveRNNなど）。

==== 変分オートエンコーダ ====
変分オートエンコーダ ('''VAE''') とは、ネットワークA（エンコーダ）が確率分布のパラメータを出力し、ネットワークＢ（デコーダ）が確率分布から得られた表現をデータへと変換するモデルである。画像・音楽生成におけるVQ-VAE-2がその例である。

==== 敵対的生成ネットワーク ====
敵対的生成ネットワーク (Generative Adversarial Network, '''GAN''') とは、ガウシアン等の確率分布から得られたノイズをネットワークA (Generator) がデータへ変換し、ネットワークBが母集団からサンプリングされたデータとネットワークＡの出力を見分けるように学習するモデルである。[[Dcgan|DCGAN]]やStyleGAN、BigGANがその例である。

==== flow-based生成モデル ====
flow-based生成モデルはFlow、Glow、NICE、realNVP等が存在する。

=== Graph neural networks (GNN) ===
グラフを入力とするニューラル・ネットワークである<ref>村田剛志：「グラフニューラルネットワーク：Pytorchによる実装」、オーム社、ISBN 978-4-274-22887-2 (2022年7月15日).</ref>。

== 構成要素 ==
ニューラルネットワークは様々な要素を組み合わせからなる。各構成要素は経験的・理論的に示された特徴をニューラルネットワークへもたらしている。
{| class="wikitable"
|+Table. ニューラルネットワークの構成要素
! colspan="2" |総称/名称
!概念
!意図/効果
!例
|-
| colspan="2" rowspan="3" |skip connection
| rowspan="3" |x = x + f(x)
|勾配消失の防止
|ResNet
|-
|アンサンブル学習
|ResNet
|-
|位置情報の保持
|U-Net
|-
| colspan="2" rowspan="2" |ボトルネック構造
| rowspan="2" |W<sub>shallow</sub> > W<sub>middle</sub> < W<sub>deep</sub>
|特徴抽出
|AE
|-
|圧縮された潜在表現
|generative AE
|-
| colspan="2" |階層構造
|middle(x) = f(x + bottom(x))
|局所/全体特徴の両立<ref>The proposed U-Net based architecture allows to provide '''detailed per-pixel feedback''' to the generator '''while maintaining the global coherence''' of synthesized images</ref>
|[[arxiv:2002.12655|U-Net GAN]]
|-
| rowspan="3" |一貫性
consistency
|cycle
|G<sub>B2A</sub>(G<sub>A2B</sub>(a)) = a
|コンテンツ/不変特徴の保持
|[[arxiv:1703.10593|CycleGAN]]
|-
|latent
|D(G(z)) = D(G(z+Δ))
|潜在変数ゆらぎへの堅牢性
|ICR-BigGAN
|-
|データ拡張
|D(Aug(x)) = D(x)
D(G(z)) = D(Aug(G(z)))
|leakのないデータ拡張
|CR-GAN
ICR-BigGAN
|-
| rowspan="2" |progressive
|output
|Size(G<sub>t=0</sub>(x)) < Size(G<sub>t=1</sub>(x))
|学習の高速化・安定化<ref>starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both '''speeds the training up''' and greatly '''stabilizes it''' [[arxiv:1710.10196|PGGAN paper]]</ref>
|[[arxiv:1710.10196|PGGAN]]
|-
|input
|Input Complexity t<sub>0</sub> < t<sub>1</sub>
|学習の高速化・安定化
|PA-GAN
|-
| rowspan="7" |正規化
|batch
|y = γ<sub>c</sub> Norm(x) + β<sub>c</sub>
| rowspan="4" |学習の高速化
|
|-
|layer
|
|
|-
|instance
|
|
|-
|group
|
|
|-
|Conditional
|y = γ<sub>cnl,s</sub> Norm(c) + β<sub>cnl,s</sub>
|スタイル変換
|
|-
|AdaIN
|y = σ(s) Norm(c) + μ(s)
|スタイル変換
|[[arxiv:1812.04948|StyleGAN]]
|-
|SPADE
|
|スタイル変換
|
|}

=== バッチ正規化 ===
バッチ正規化（英: Batch Normalization）は学習時のミニ<u>バッチ</u>に対する<u>[[正規化]]</u>である<ref>"making normalization a part of the model architecture and performing the normalization for each training mini-batch." [[arxiv:1502.03167|Sergey Ioffe, et. al.. (2015)]]</ref>。バッチ正規化レイヤー/BNでは学習時にバッチ内統計量（平均μ, 分散σ）を計算し、この統計量により各データを正規化する。その上で学習可能パラメータ (β, γ) を用いて y = γX+βの線形変換をおこなう。これにより値を一定のバラツキに押し込めた上で柔軟に線形変換することができる。

CNNの場合、各チャネルごとにバッチ正規化処理がおこなわれる。バッチ方向ではない正規化手法も様々提案されており、Layer Norm・Instance Norm・Group Normなどがある。また正規化時のβ・γを計算から求めたりNN(β)・NN(γ)で表現する手法も存在する。

== 活性化関数 ==
{{main|活性化関数}}
ニューラルネットワークにおいて、各[[人工神経]]は線形変換を施した後、非線形関数を通すが、これを[[活性化関数]]という。様々な種類があり、詳細は[[活性化関数]]を参照。

== 学習 ==
{{main|バックプロパゲーション}}
ニューラルネットワークの学習は、[[最適化問題]]として定式化できる。

現在最も広く用いられる手法は、[[勾配法]]の一種である勾配降下法を連鎖律と共に用いる[[バックプロパゲーション]]である。

勾配法によらない学習法 (gradient-free method) は歴史的にも多く用いられており、現在でも研究が進められている[http://ktrmnm.github.io/blog/2018/03/04/201803-nn-bcd/]。

== 実装 ==
ニューラルネットワークは「線形変換 + 非線形活性化; <math>y = \sigma (\boldsymbol{w}\boldsymbol{x})</math>」を基本単位とするため、実装の基礎は[[ドット積]]ひいては[[積和演算]]になる<ref>"ニューラルネットワークの演算の基本は、多入力の積和演算である。" 百瀬 (2016). [https://www.semiconportal.com/archive/contribution/applications/160722-neurochip2-1.html 第2章：ディープ・ニューラルネットワークのニューロチップへの実装～その勘所は!!]. semiconportal.</ref>。またレイヤー概念によりスカラ出力を束ねた出力ベクトルとなり（<math>\boldsymbol{y} = \sigma (W\boldsymbol{x})</math>）、Level 2 [[BLAS]] すなわち[[Basic Linear Algebra Subprograms#GEMV|行列ベクトル積]]が基礎となる。入力のバッチ化は入出力の行列化と同義であり（<math>Y = \sigma (WX)</math>）、Level 3 [[BLAS]] すなわち行列積が基礎となる<ref>"深層学習の…フレームワーク中では, 計算時間の多くが畳み込み計算などの密行列積に費やされており … 計算時間の約90%が畳み込み層での計算時間であることが知られている" p.1 of 関谷, et al. (2017). ''低ランク近似を用いた深層学習の行列積の高速化''. 情報処理学会研究報告. Vol2017-HPC-158, No.24.</ref>。

=== 実装例 ===
ここでは、3層フィードフォワードニューラルネットワークで[[回帰分析|回帰]]を実装する。<math>x = [-1, 1]</math> において、<math>y = 2 x^2 - 1</math> を学習する。[[活性化関数]]は[[正規化線形関数|ReLU]]を使用。学習は、[[確率的勾配降下法]]で[[バックプロパゲーション]]を行う。

3層フィードフォワードニューラルネットワークのモデルの数式は以下の通り。X が入力、Y が出力、T が訓練データで全て数式では縦ベクトル。<math>\psi</math> は活性化関数。<math>W_1, W_2, B_1, B_2</math> が学習対象。<math>B_1, B_2</math> はバイアス項。
: <math>Y = W_2 \psi(W_1 X + B_1) + B_2</math>

誤差関数は以下の通り。誤差関数は出力と訓練データの間の二乗和誤差を使用。
: <math>E = \frac{1}{2} \| Y - T \|^2</math>

誤差関数 <math>E</math> をパラメータで偏微分した数式は以下の通り。肩についてる T は[[転置行列]]。<math>\circ</math> は[[アダマール積]]。
: <math>\begin{align}
\frac{\partial E}{\partial W_1} &= \left(\left((Y - T)^{\mathrm{T}} W_2 \right)^{\mathrm{T}} \circ \psi'(W_1 X + B_1)\right) X^{\mathrm{T}} \\
\frac{\partial E}{\partial B_1} &= \left((Y - T)^{\mathrm{T}} W_2 \right)^{\mathrm{T}} \circ \psi'(W_1 X + B_1) \\
\frac{\partial E}{\partial W_2} &= (Y - T) \psi(W_1 X + B_1)^{\mathrm{T}} \\
\frac{\partial E}{\partial B_2} &= Y - T
\end{align}</math>

[[Python]] 3.5 によるソースコード。Python において、@ は[[行列の乗法]]の演算子、** は[[冪乗]]の演算子、行列同士の * は[[アダマール積]]。

<syntaxhighlight lang="python">
import numpy as np

dim_in = 1              # 入力は1次元
dim_out = 1             # 出力は1次元
hidden_count = 1024     # 隠れ層のノードは1024個
learn_rate = 0.005      # 学習率

# 訓練データは x は -1～1、y は 2 * x ** 2 - 1
train_count = 64        # 訓練データ数
train_x = np.arange(-1, 1, 2 / train_count).reshape((train_count, dim_in))
train_y = np.array([2 * x ** 2 - 1 for x in train_x]).reshape((train_count, dim_out))

# 重みパラメータ。-0.5 〜 0.5 でランダムに初期化。この行列の値を学習する。
w1 = np.random.rand(hidden_count, dim_in) - 0.5
w2 = np.random.rand(dim_out, hidden_count) - 0.5
b1 = np.random.rand(hidden_count) - 0.5
b2 = np.random.rand(dim_out) - 0.5

# 活性化関数は ReLU
def activation(x):
    return np.maximum(0, x)

# 活性化関数の微分
def activation_dash(x):
    return (np.sign(x) + 1) / 2

# 順方向。学習結果の利用。
def forward(x):
    return w2 @ activation(w1 @ x + b1) + b2

# 逆方向。学習
def backward(x, diff):
    global w1, w2, b1, b2
    v1 = (diff @ w2) * activation_dash(w1 @ x + b1)
    v2 = activation(w1 @ x + b1)

    w1 -= learn_rate * np.outer(v1, x)  # outerは直積
    b1 -= learn_rate * v1
    w2 -= learn_rate * np.outer(diff, v2)
    b2 -= learn_rate * diff

# メイン処理
idxes = np.arange(train_count)          # idxes は 0～63
for epoc in range(1000):                # 1000エポック
    np.random.shuffle(idxes)            # 確率的勾配降下法のため、エポックごとにランダムにシャッフルする
    error = 0                           # 二乗和誤差
    for idx in idxes:
        y = forward(train_x[idx])       # 順方向で x から y を計算する
        diff = y - train_y[idx]         # 訓練データとの誤差
        error += diff ** 2              # 二乗和誤差に蓄積
        backward(train_x[idx], diff)    # 誤差を学習
    print(error.sum())                  # エポックごとに二乗和誤差を出力。徐々に減衰して0に近づく。
</syntaxhighlight>

=== 推論 ===
ニューラルネットワークの学習（[[ディープラーニング]]）と対比して、ニューラルネットワークによる演算は'''推論'''（{{lang-en-short|inference}}）と呼ばれる。

==== ハードウェアアクセラレーション ====
ニューラルネットワークの推論を高速化する様々な[[ハードウェアアクセラレーション]]APIが提案・実装されている<ref>''[https://onnxruntime.ai/index.html#getStartedTable Optimize and Accelerate Machine Learning Inferencing and Training]''. ONNX Runtime.</ref>。GPUにおける[[CUDA]]、[[Microsoft Windows|Windows]]におけるDirectML<ref>"Direct Machine Learning (DirectML) is a low-level API for machine learning." ''[https://learn.microsoft.com/ja-jp/windows/ai/directml/dml Direct Machine Learning (DirectML)]''. Microsoft.</ref>、[[NVIDIA]]におけるTensorRT<ref>"TensorRT can optimize and deploy applications to the data center, as well as embedded and automotive environments. It powers key NVIDIA solutions" ''[https://developer.nvidia.com/tensorrt NVIDIA TensorRT]''. NVIDIA.</ref>などが挙げられる。 

=== 量子化 ===
'''量子化'''（{{lang-en-short|Quantization}}）はニューラルネットワークの重み（weight）および演算入出力（activation）の[[コンピュータの数値表現|数値表現]]精度を下げる最適化である<ref>"Quantization works by reducing the precision of the numbers used to represent a model's parameters, which by default are 32-bit floating point numbers." [https://www.tensorflow.org/lite/performance/model_optimization ''Model optimization'']. TensorFlow.</ref><ref>"Quantizing a network means converting it to use a reduced precision integer representation for the weights and/or activations." [https://pytorch.org/tutorials/recipes/recipes/dynamic_quantization.html DYNAMIC QUANTIZATION]. PyTorch.</ref>。例えば8-bit量子化では通常FP32で表現される数値をINT8で表現する。

量子化の効果は以下の要素から生み出される<ref>"Quantization performance gain comes in 2 part: instruction and cache." [https://onnxruntime.ai/docs/performance/quantization.html ''Quantize ONNX Models'']. ONNX Runtime.</ref>。

* [[命令 (コンピュータ)|プロセッサ命令]]: FP32より高効率なINT8命令の利用（例:IPC、1命令あたりの演算数（[[ストリーミングSIMD拡張命令#Intel AVX|AVX]]-FP32: 8要素、[[ストリーミングSIMD拡張命令#Intel AVX2|AVX2]]-INT8: 32要素））
* キャッシュ: 容量低下によるキャッシュへ乗るデータ量増加 → キャッシュヒット率向上
* メモリ: 容量低下によるメモリ消費とメモリ転送量の減少<ref>"Less memory usage: Smaller models use less RAM when they are run, which frees up memory for other parts of your application to use, and can translate to better performance and stability." [https://www.tensorflow.org/lite/performance/model_optimization ''Model optimization'']. TensorFlow.</ref>
* 数値精度: 計算精度の低下によるモデル出力精度の低下
* 計算量: 量子化-脱量子化の導入による計算量の増加

量子化が最終的にメリットをもたらすかは上記の要素の組み合わせで決定される。効率的な命令セットを持たない場合、出力精度が下がりさらにQDQの計算負荷が勝って速度が悪化する場合もある<ref>"Old hardware doesn’t have or has few instruction support for byte computation. And quantization has overhead (quantize and dequantize), so it is not rare to get worse performance on old devices." [https://onnxruntime.ai/docs/performance/quantization.html ''Quantize ONNX Models'']. ONNX Runtime.</ref>。このように、量子化の効果はモデルとハードウェアに依存する<ref>"Performance improvement depends on your model and hardware." [https://onnxruntime.ai/docs/performance/quantization.html ''Quantize ONNX Models'']. ONNX Runtime.</ref>。 

量子化手法にはいくつかのバリエーションがある。 

* 静的量子化（{{lang-en-short|Static Quantization}}）: 代表的データを用いた量子化パラメータの事前算出<ref>"Static quantization quantizes the weights and activations of the model. ... It requires calibration with a representative dataset to determine optimal quantization parameters for activations." [https://pytorch.org/docs/stable/quantization.html QUANTIZATION]. PyTorch.</ref>
* 動的量子化（{{lang-en-short|Dynamic Quantization}}）: 各実行ステップのactivation値に基づくactivation用量子化パラメータの動的な算出<ref>"with dynamic quantization ... determine the scale factor for activations dynamically based on the data range observed at runtime." [https://pytorch.org/tutorials/recipes/recipes/dynamic_quantization.html DYNAMIC QUANTIZATION]. PyTorch.</ref>（weightは実行前に量子化<ref>"The model parameters ... are converted ahead of time and stored in INT8 form." [https://pytorch.org/tutorials/recipes/recipes/dynamic_quantization.html DYNAMIC QUANTIZATION]. PyTorch.</ref>）
* fake quantization (''Quantize and DeQuantize''; QDQ): 量子化+脱量子化（<math>y = dequant(quant(x))</math>）。学習時の量子化模倣<ref>"Simulate the quantize and dequantize operations in training time." [https://pytorch.org/docs/stable/generated/torch.quantization.fake_quantize.FakeQuantize.html?highlight=fakequantize FAKEQUANTIZE]. PyTorch. 2022-03-15閲覧.</ref>あるいは量子化オペレータの表現<ref>"There are 2 ways to represent quantized ONNX models: ... Tensor Oriented, aka Quantize and DeQuantize (QDQ)." ''[https://onnxruntime.ai/docs/performance/quantization.html#onnx-quantization-representation-format Quantize ONNX Models]''. ONNX RUNTIME. 2022-03-15閲覧.</ref>

=== スパース化 ===
'''スパース化'''（{{lang-en-short|Sparsification}}）はニューラルネットワークの重みを[[疎行列]]とする最適化である。スパース化は精度の低下と速度の向上をもたらす。

スパース化の効果は以下の要素から生み出される。

* キャッシュ: 容量低下によるキャッシュへ乗るデータ量増加 → キャッシュヒット率向上
* メモリ: 容量低下によるメモリ消費とメモリ転送量の減少
* 数値精度: 小さい値のゼロ近似によるモデル出力精度の低下
* 計算量: ゼロ重みとの積省略による計算量の減少

スパース化の恩恵を受けるためにはそのためのフォーマットや演算が必要になる。ゼロ要素を省略する[[疎行列#%E6%A0%BC%E7%B4%8D%E5%BD%A2%E5%BC%8F|疎行列形式]]、疎行列形式に対応した演算実装などが挙げられる。またスパース化を前提として精度低下を防ぐよう学習する手法が存在する。

より広い意味での重み除去は'''枝刈り'''（{{lang-en-short|Pruning}}）と呼ばれる。枝刈りでは行列のスパース化のみでなく、チャネルやモジュール自体の削除（ゼロ近似）を含む。

==脚注 ==
{{脚注ヘルプ}}
===注釈===
{{Notelist}}
===出典===
{{Reflist|25em}}

== 参考文献 ==
* 上坂吉則：「ニューロコンピューティングの数学的基礎」、近代科学社、ISBN 4-7649-0219-2 (1993年11月20日).
* {{Cite book|和書
|author = [[斎藤康毅]]
|title = ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装
|date = 2016-9-24
|edition = 第1刷
|publisher = [[オライリー]]ジャパン
|isbn = 978-4873117584
|ref = 斎藤 }}
* {{Cite journal|last=Vaswani|first=Ashish|last2=Shazeer|first2=Noam|last3=Parmar|first3=Niki|last4=Uszkoreit|first4=Jakob|last5=Jones|first5=Llion|last6=Gomez|first6=Aidan N.|last7=Kaiser|first7=Łukasz|last8=Polosukhin|first8=Illia|date=2017-12-04|title=Attention is all you need|url=https://dl.acm.org/doi/10.5555/3295222.3295349|journal=Proceedings of the 31st International Conference on Neural Information Processing Systems|pages=6000–6010|publisher=Curran Associates Inc.|location=Red Hook, NY, USA|doi=10.5555/3295222.3295349|isbn=978-1-5108-6096-4|arXiv=1706.03762 |ref=harv}}
* 山内康一郎：「作って学ぶニューラルネットワーク：機械学習の基礎から追加学習まで」、コロナ社、ISBN 978-4-339-02911-6 (2020年10月13日).

== 関連項目 ==
* [[人工知能]]
* [[強化学習]]
* [[機械学習]]
* [[ニューロコンピュータ]]
* [[コネクショニズム]]
* [[認知科学]]
* [[ウォーレン・マカロック]]
* [[ウォルター・ピッツ]]
* [[ヘッブの法則]]
* [[認知アーキテクチャ]]
* [[階層構造]]
* [[創発]]
* [[Neuroevolution]]
* [[コネクトーム]]
* [[ディープラーニング]]

== 外部リンク ==
*{{kotobank|ニューラルネットワークモデル}}
*{{kotobank}}
{{神経科学}}
{{新技術|topics=yes|neuro=yes}}{{Normdaten}}
{{DEFAULTSORT:にゆうらるねつとわあく}}
[[Category:ニューラルネットワーク|*]]
[[Category:人工ニューラルネットワーク]]
[[Category:人工知能]]
[[Category:認知科学]]
[[Category:計算論的神経科学]]
[[Category:心理学]]
[[Category:サイバネティックス]]
[[Category:分類アルゴリズム]]
[[Category:ネットワーク]]