畳み込みニューラルネットワークのソースを表示

{{machine learning bar}}

'''畳み込みニューラルネットワーク'''（たたみこみニューラルネットワーク、{{lang-en-short|convolutional neural network}}、略称: '''CNN'''または'''ConvNet'''）は、[[畳み込み]]を使用している[[ニューラルネットワーク]]の総称である。[[コンピュータビジョン|画像認識や動画認識]]、音声言語翻訳<ref>{{Cite web |title=K-Pop Hit Song Recorded in 6 Languages Using Deep Learning |url=https://www.deeplearning.ai/the-batch/k-pop-hit-song-recorded-in-6-languages-using-deep-learning/ |website=K-Pop Hit Song Recorded in 6 Languages Using Deep Learning |date=2023-08-02 |access-date=2024-02-20 |language=en}}</ref>、[[レコメンダシステム]]<ref>{{Cite book|url=http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|editor-first=C. J. C.|editor-last5=Weinberger|editor-first4=Z.|editor-last4=Ghahramani|editor-first3=M.|editor-last3=Welling|editor-first2=L.|editor-last2=Bottou|pages=2643–2651|editor-last=Burges|title=Deep content-based music recommendation|publisher=Curran Associates, Inc.|date=2013-01-01|first3=Benjamin|last3=Schrauwen|first2=Sander|last2=Dieleman|first=Aaron|last=van den Oord|editor-first5=K. Q.}}</ref>、[[自然言語処理]]<ref>{{Cite journal|last=Collobert|first=Ronan|last2=Weston|first2=Jason|date=2008-01-01|title=A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning|url=https://doiorg/10.1145/1390156.1390177|journal=Proceedings of the 25th International Conference on Machine Learning|pages=160–167|publisher=ACM|location=New York, NY, USA|doi=10.1145/1390156.1390177|isbn=978-1-60558-205-4|series=ICML '08}}</ref>、[[コンピュータ将棋]]<ref name="dlshogi">{{Cite web |title=誰もdlshogiには敵わなくなって将棋AIの世界が終わってしまった件 {{!}} やねうら王 公式サイト |trans-title= |author= |work=yaneuraou.yaneu.com |date= |access-date=15 July 2024 |url= https://yaneuraou.yaneu.com/2022/06/27/nobody-could-compete-with-dlshogi-anymore/ |language=ja}}</ref>、[[コンピュータ囲碁]]<ref name="dlshogi"/>などに使用されている。

== 数式表記 ==
畳み込みニューラルネットワークの定義は厳密に決まっているわけではないが、画像認識の（縦, 横, 色）の2次元画像の多クラス分類の場合、以下の擬似コードで書かれるのが基本形である<ref>{{cite web |url=https://github.com/pytorch/examples/blob/main/mnist/main.py |title=examples/mnist/main.py at main · pytorch/examples |newspaper=Https: |date=  |author= |accessdate= July 15, 2024}}</ref>。ここから色々なバリエーションが作られている。[[損失関数]]は[[交差エントロピー]]を使用し、パラメータは[[確率的勾配降下法]]で学習するのが基本形である。これらの[[偏微分]]は[[自動微分]]を参照。
 以下の繰り返し
     畳み込み層と[[活性化関数]]
     最大値プーリング
 ベクトルに平坦化（flatten）
 以下の繰り返し
     全結合層と活性化関数
 [[ソフトマックス関数]]

=== 畳み込み層 ===
基本形は、入力 <math>\mathbf{X}(H_\text{in}, W_\text{in}, C_\text{in})</math> とカーネル <math>\mathbf{K}(H_\text{kernel}, W_\text{kernel}, C_\text{in}, C_\text{out})</math> とバイアス <math>\mathbf{B}(C_\text{out})</math> から出力 <math>\mathbf{Y}(H_\text{out}, W_\text{out}, C_\text{out})</math> を下記で計算する。カーネルとバイアスが学習対象である。
: <math>\mathbf{Y}(i,j,n) = \left( \sum_k \sum_l \sum_m \mathbf{K}(k,l,m,n) \mathbf{X}(i+k,j+l,m) \right) + \mathbf{B}(n)</math>

より一般的な畳み込みは以下のように [[PyTorch]] では実装している<ref>{{Cite web |title=Conv2d — PyTorch 2.3 documentation |author= |work=pytorch.org |date= |access-date=15 July 2024 |url= https://pytorch.org/docs/stable/generated/torch.nn.Conv2d.html}}</ref>。<math>C_{\mathrm{in}_m}</math>はm番目の入力チャンネルを、<math>C_{\mathrm{out}_n}</math>はn番目の出力チャンネルを、<math>\star</math>は[[相互相関関数]]を意味する。

: <math>\mathrm{output}(C_{\mathrm{out}_n}) = \left( \sum_{C_{\mathrm{in}_m}} \mathrm{kernel}(C_{\mathrm{in}_m}, C_{\mathrm{out}_n}) \star \mathrm{input}(C_{\mathrm{in}_m}) \right) + \mathrm{bias}(C_{\mathrm{out}_n})</math>

すなわち各出力チャンネルごとに入力チャンネル <math>C_{\mathrm{in}}</math> 枚分のカーネル <math>\mathrm{kernel}(C_{\mathrm{in}_m}, C_{\mathrm{out}_n})</math> が用意され、入力の各チャンネルのカーネルを用いた畳み込みの総和へバイアス項 <math>\mathrm{bias}(C_{\mathrm{out}_n})</math> が加算され、出力の各チャンネルとなっている。

[[畳み込み]]自体にその様な制限があるわけではないが、PyTorch 2.3 現在は、式からわかるように、入力チャンネル間は畳み込み処理ではなく和で計算され、また入力チャンネル <math>\mathrm{input}(C_{\mathrm{in}_m})</math> に畳み込まれるカーネル <math>\mathrm{kernel}(C_{\mathrm{in}_m}, C_{\mathrm{out}_n})</math> は出力チャンネルごとに異なるという実装になっている。引数 groups を指定するとここら辺の挙動も変わる。

カーネルはしばしば[[フィルタ (信号処理)|フィルタ]]と呼ばれる<ref>"convolved with its own set of filters" [https://pytorch.org/docs/stable/generated/torch.nn.Conv1d.html PyTorch 1.10 Conv1D]</ref>。これは位置関係をもつ重みづけ和のスライド演算（畳み込み）がフィルタ適用と等価なことに由来する。

畳み込み処理自体は単純な[[線型性|線形]]変換である。出力のある1点を見ると局所以外の重みが全て0の[[多層パーセプトロン|全結合]]と等価であることからこれはわかる。多くのCNNでは畳み込み処理に引き続いて[[シグモイド関数]]やReLUなどの[[活性化関数]]による非線形変換をおこなう。{{要出典|date=2021年11月}}

=== 活性化関数 ===
活性化関数が[[ReLU]]の場合、入力 <math>\mathbf{X}(H, W, C)</math> から出力 <math>\mathbf{Y}(H, W, C)</math> を下記で計算する。学習するパラメータは無い。
: <math>\mathbf{Y}(i,j,k) = \max \{ 0, \mathbf{X}(i,j,k) \} </math>

=== 最大値プーリング ===
カーネルの大きさが <math>(p,q)</math> の場合、入力 <math>\mathbf{X}(H_\text{in}, W_\text{in}, C)</math> から出力 <math>\mathbf{Y}(H_\text{out}, W_\text{out}, C)</math> を下記で計算する<ref>{{Cite web |title=MaxPool2d — PyTorch 2.3 documentation |author= |work=pytorch.org |date= |access-date=15 July 2024 |url= https://pytorch.org/docs/stable/generated/torch.nn.MaxPool2d.html}}</ref>。学習するパラメータは無い。
: <math>\mathbf{Y}(i,j,m) = \max_{0 \le k < p, 0 \le l < q} \mathbf{X}(pi+k,qj+l,m) </math>

=== 全結合層 ===
ベクトルの全結合層は 入力 <math>\mathbf{X}(C_\text{in})</math> と重み <math>\mathbf{W}(C_\text{in}, C_\text{out})</math> とバイアス <math>\mathbf{B}(C_\text{out})</math> から出力 <math>\mathbf{Y}(C_\text{out})</math> を下記で計算する。重みとバイアスが学習対象である。
: <math>\mathbf{Y}(j) = \left( \sum_i \mathbf{W}(i,j) \mathbf{X}(i) \right) + \mathbf{B}(j)</math>

== 事前知識 ==
畳み込みニューラルネットワークはいくつかの[[:en:Prior knowledge for pattern recognition|事前知識]]がモデルに組み込まれている。これらは、1979年の[[ネオコグニトロン]]の時に既に導入されている<ref name="福島2019">{{Cite journal
|last=福島
|first=邦彦
|date=2019
|title=ネオコグニトロンと畳み込みニューラルネットワーク
|journal=医用画像情報学会雑誌
|volume=36
|issue=2
|pages=17-24
|doi=10.11318/mii.36.17
|publisher=Japan Science and Technology Agency
|url=https://www.jstage.jst.go.jp/article/mii/36/2/36_17/_article
}}</ref>。

=== シフト不変性 ===
畳み込みニューラルネットワークは、その重み（行列の）共有構造と並進不変特性に基づいて、'''シフト不変'''（shift invariant）あるいは'''位置不変'''（space invariant）'''人工ニューラルネットワーク'''（'''SIANN'''）とも呼ばれている<ref name=":0">{{Cite journal|last=Zhang|first=Wei|date=1988|title=Shift-invariant pattern recognition neural network and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Zm03Tm1kaEdIYkE/view?usp=sharing|journal=Proceedings of annual conference of the Japan Society of Applied Physics|volume=|issue=|doi=|pmid=|access-date=|via=}}</ref><ref name=":1">{{Cite journal|last=Zhang|first=Wei|date=1990|title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing|journal=Applied Optics|volume=29|issue=32|doi=|pmid=|access-date=|via=}}</ref>。

シフト不変性は1979年の[[ネオコグニトロン]]の時からそれを目的に畳み込みが導入されているが<ref>{{Cite journal
 | last = Fukushima
 | first = Kunihiko
 | date = 1980-04-01
 | title = Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position
 | journal = Biological Cybernetics
 | volume = 36
 | issue = 4
 | pages = 193–202
 | doi = 10.1007/BF00344251
 | url = https://doi.org/10.1007/BF00344251
 | issn = 1432-0770
}}</ref>、実際には厳密に成立しているわけではなく、Aharon Azulay 等の2018年の調査では1ピクセルずらしただけで最大30%精度が悪化することがあることが指摘されていて<ref>{{Cite journal
 | last1 = Azulay
 | first1 = Aharon
 | last2 = Weiss
 | first2 = Yair
 | date = 2019
 | title = Why do deep convolutional networks generalize so poorly to small image transformations?
 | journal = arXiv
 | eprint = 1805.12177
 | archiveprefix = arXiv
 | primaryclass = cs.CV
 | url = https://arxiv.org/abs/1805.12177
}}</ref>、厳密にシフト不変性が成立する手法<ref>{{Cite journal
 | last1 = Chaman
 | first1 = Anadi
 | last2 = Dokmanić
 | first2 = Ivan
 | date = 2021
 | title = Truly shift-invariant convolutional neural networks
 | journal = arXiv
 | eprint = 2011.14214
 | archiveprefix = arXiv
 | primaryclass = cs.CV
 | url = https://arxiv.org/abs/2011.14214
}}</ref>も研究されている。

=== 局所的特徴 ===
近くにあるピクセルは関係し合っているという事前知識を使用している。例えば、2次元画像の畳み込みニューラルネットワークにおいて、3x3ピクセルの畳み込みを使用するということは、その3x3ピクセルが関係し合っているという事前知識を使用している。<ref name="福島2019"/>

=== 構造性 ===
低次特徴を組み合わせて高次特徴を構成しているが、これは、部分が集まって全体が作られているという事前知識を使用している。<ref name="福島2019"/>

== 畳み込み層のバリエーション ==
畳み込みニューラルネットワークの核となる手法は[[畳み込み]]処理（convolution）であり、それには様々な変種がある。以下はその一例である。

=== 点単位畳み込み ===
2次元画像の場合は、下記を点単位畳み込みと呼ぶ。
: <math>\mathbf{Y}(i,j,n) = \left( \sum_m \mathbf{K}(m,n) \mathbf{X}(i,j,m) \right) + \mathbf{B}(n)</math>

<math>\mathrm{kernel}(C_{\mathrm{in}_m}, C_{\mathrm{out}_n})</math> がスカラーの畳み込みは'''点単位畳み込み'''（pointwise convolution）や'''1x1畳み込み'''（1x1 convolution）と呼称される<ref>"a 1×1 convolution called a pointwise convolution." Andrew (2017) [[arxiv:1704.04861|MobileNets]] Arxiv</ref>。例えば2DConvにおける1x1カーネルがある。出力チャネル <math>C_{\mathrm{out}_n}</math> に着目するとこの畳み込みは入力チャネルの加重平均とみなせる。あるいは各点（pointwise）での入力チャネルを跨いだ全結合とみなせる。処理全体では出力チャネルごとに異なる加重を用いて入力チャネル平均を取ることと同義である。利用目的には位置情報を保った（pointwiseな）変換、出力次元数 <math display="inline">C_{\mathrm{out}}</math> 調整などが挙げられる。実装上は最小カーネルによる畳み込みで表現される（例: 2DConvにおける <math display="inline">1 \times 1 \times C_{\mathrm{in}} \times C_{\mathrm{out}}</math> カーネル）。全結合層（Linear）を用いても容易に表現できる。

=== 深さ単位畳み込み ===
2次元画像の場合は、下記を深さ単位畳み込みと呼ぶ。<math>C_{\mathrm{in}} = C_{\mathrm{out}}</math> である。
: <math>\mathbf{Y}(i,j,n) = \left( \sum_k \sum_l \mathbf{K}(k,l,n) \mathbf{X}(i+k,j+l,n) \right) + \mathbf{B}(n)</math>

グループ化畳み込みのグループ数をチャネル数と一致させる、すなわちチャネル間の和をなくしたものは'''深さ単位畳み込み'''（depthwise convolution）と呼称される<ref>"Depthwise convolution with one filter per input channel (input depth)" Andrew G. Howard. (2017). [[arxiv:1704.04861|MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications]]. Arxiv</ref>。

=== グループ化畳み込み ===
畳み込みの変種として'''グループ化畳み込み'''（grouped convolution）がある。通常の畳み込みでは全入力チャネルの畳み込み和を計算するが、グループ化畳み込みでは入出力チャネルをいくつかのグループに分割しグループ内で通常の畳み込みと和をおこなう<ref>"In a group conv layer ..., input and output channels are divided into C groups, and convolutions are separately performed within each group." Saining (2017). [[arxiv:1611.05431|Aggregated Residual Transformations for Deep Neural Networks]]. Arxiv</ref><ref>"<code>groups</code> controls the connections between inputs and outputs. ... At groups=1, all inputs are convolved to all outputs ... At groups= <code>in_channels</code>, each input channel is convolved with its own set of filters" [https://pytorch.org/docs/stable/generated/torch.nn.Conv2d.html PyTorch nn.Conv2d]</ref>。これによりカーネル枚数・計算量の削減、複数GPUを用いた学習、別技術と組み合わせた性能の向上などが可能になる（c.f. AlexNet, ResNeXt)。

=== 深さ単位分離可能畳み込み ===
2次元画像の場合は、下記の深さ単位畳み込みして点単位畳み込みしたものを深さ単位分離可能畳み込みと呼ぶ。
: <math>\mathbf{Y}(i,j,m) = \sum_k \sum_l \mathbf{K}_1(k,l,m) \mathbf{X}(i+k,j+l,m)</math>
: <math>\mathbf{Z}(i,j,n) = \left( \sum_m \mathbf{K}_2(m,n) \mathbf{Y}(i,j,m) \right) + \mathbf{B}(n)</math>

'''深さ単位分離可能畳み込み'''（depthwise separable convolution）は空間方向の畳み込み層とチャネル方向の全結合層に分離した畳み込みモジュールである。すなわち通常の畳み込みを 深さ単位畳み込み + 点単位畳み込み で置き換えるモジュールである<ref>"depthwise separable convolutions which is a form of factorized convolutions which factorize a standard convolution into a depthwise convolution and a 1×1 convolution called a pointwise convolution." Howard, et al. (2017). ''MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications''.</ref>。計算量・パラメータ量を1/10スケールで削減できる利点がある。

=== 転置畳み込み ===
2次元画像の場合は、ストライドを <math>(p, q)</math> とした時、下記の擬似コードで書かれるものを'''転置畳み込み'''（transposed convolution）と呼ぶ。<math>p = q = 2</math> の時、最大値プーリングは約半分の大きさになるが、転置畳み込みは約2倍の大きさになる。<ref>{{Cite web |title=14.10. Transposed Convolution — Dive into Deep Learning 1.0.3 documentation |author= |work=d2l.ai |date= |access-date=23 July 2024 |url= https://d2l.ai/chapter_computer-vision/transposed-conv.html}}</ref>
 '''for''' i, j, k, l, m, n '''in''' それぞれの値域
     <math>\mathbf{Y}(pi+k,qj+l,n)</math> += <math>\mathbf{K}(k,l,m,n) \mathbf{X}(i,j,m)</math>
逆畳み込み（decovolution）やfractionally-strided convolutionとも呼ばれるが、[[逆畳み込み]]は別の意味で使われている言葉なので誤用である。<ref>{{Cite web |title=ConvTranspose2d — PyTorch 2.3 documentation |author= |work=pytorch.org |date= |access-date=23 July 2024 |url= https://pytorch.org/docs/stable/generated/torch.nn.ConvTranspose2d.html}}</ref>

== プーリング層のバリエーション ==
現代では、最大値プーリングが基本形であるが、これも色々なバリエーションがある。

=== 平均プーリング ===
2次元画像の場合は、カーネルの大きさが <math>(p,q)</math> の場合、下記を'''平均プーリング'''（average pooling）と呼ぶ。<ref>{{Cite web |title=AvgPool2d — PyTorch 2.4 documentation |author= |work=pytorch.org |date= |access-date=30 July 2024 |url= https://pytorch.org/docs/stable/generated/torch.nn.AvgPool2d.html}}</ref>
: <math>\mathbf{Y}(i,j,n) = \frac{1}{pq} \sum_{k=0}^{p-1} \sum_{l=0}^{q-1} \mathbf{X}(pi+k,qj+l,n)</math>

[[ネオコグニトロン]]や[[LeNet]]では平均プーリングを採用していた。<ref name="福島2019"/>

=== グローバル平均プーリング ===
2次元画像の場合は、カーネルの大きさが <math>(p,q) = (H_{\text{in}}, W_{\text{in}})</math> の平均プーリングを'''グローバル平均プーリング'''（global average pooling）と呼ぶ。ベクトルに平坦化（flatten）して全結合層を適用する代わりに使用できる。<ref>{{cite web |url=https://paperswithcode.com/method/global-average-pooling |title=Global Average Pooling Explained |newspaper=Https: |date=  |author= |accessdate= July 30, 2024}}</ref>
: <math>\mathbf{Y}(n) = \frac{1}{H_{\text{in}} W_{\text{in}}} \sum_i \sum_j \mathbf{X}(i,j,n)</math>

=== 空間ピラミッドプーリング ===
カーネルの大きさが (1,1), (2,2), (4,4) のように、異なる大きさのプーリングを使用する手法を'''空間ピラミッドプーリング'''（spatial pyramid pooling）と呼ぶ。画像認識対象の物体の大きさが異なる場合に、事前知識として[[スケール不変性]]を導入するために使用する。<ref>{{cite web |url=https://paperswithcode.com/method/spatial-pyramid-pooling |title=Spatial Pyramid Pooling Explained |newspaper=Https: |date=  |author= |accessdate= July 30, 2024}}</ref><ref>{{Cite web |title=空間ピラミッドプーリング層 (SPP-net, Spatial Pyramid Pooling) とその応用例や発展型 {{!}} CVMLエキスパートガイド |trans-title= |author= |work=CVMLエキスパートガイド {{!}} 毎日の探求力向上を支援する，中級者むけ拠点サイト |date= |access-date=30 July 2024 |url= https://cvml-expertguide.net/terms/dl/layers/pooling-layer/spatial-pyramid-pooling/ |language=ja |quote=空間ピラミッドプーリング }}</ref>

== 畳み込みニューラルネットワークのバリエーション ==
畳み込みニューラルネットワークは畳み込み処理を用いたニューラルネットワークの総称である。畳み込みの種類、カーネルのサイズと層の関係、特殊なモジュールの有無などにより様々なサブタイプ（変種）が存在する。

=== Recurrent CNN ===
単純なCNNは[[ニューラルネットワーク#順伝播型ニューラルネットワーク|順伝播型]] (FFN)、すなわち浅い層から深い層へのみ結合をもつ。ただしCNNは2層間の結合様式を規定するクラスでありFFNと限らない{{要出典|date=2021年11月}}。非FFN型CNNの一例として大局的に回帰結合をもち層間では畳み込みをおこなうRecurrent CNNが提唱されている<ref>"we propose a recurrent CNN (RCNN) for object recognition by incorporating recurrent connections into each convolutional layer" p.3367 and "This work shows that it is possible to boost the performance of CNN by incorporating more facts of the brain. " p.3374 of  Liang, et al. (2015). ''Recurrent Convolutional Neural Network for Object Recognition''.</ref>。

Recurrent CNN（'''RCNN'''）は回帰結合を持つ畳み込みニューラルネットワークである<ref name=":2">"we propose a recurrent CNN (RCNN) for object recognition by incorporating recurrent connections into each convolutional layer" Liang, et al. (2015). ''Recurrent Convolutional Neural Network for Object Recognition''.</ref>。すなわち[[ニューラルネットワーク#順伝播型ニューラルネットワーク|フィードフォワード]]型 (FFN) ではなく回帰型 (RNN) のネットワーク構造を持ち、層間の結合に全結合 ([[多層パーセプトロン|MLP]]) ではなく畳み込みを採用した[[ニューラルネットワーク]]である。ゆえにCNNでありRNNでもある。

=== U-Net ===
{{main|U-Net}}
U-Net はセマンティック・セグメンテーション用の畳み込みニューラルネットワーク。

== 受容野 ==
'''受容野'''（{{lang-en-short|receptive field}}）は出力中の一点と結合している入力の広さ・幅である<ref>"予測の際に使用する有限長の過去のデータ点数 R は受容野 (receptive field) の大きさを表す．" 松本. (2019). WaveNetによる言語情報を含まない感情音声合成方式の検討. 情報処理学会研究報告.</ref><ref>"Effective Receptive Field (ERF): is the area of the original image that can possibly influence the activation of a neuron. ... ERF and RF are sometimes used interchangeably"  Le. (2017). ''[[arxiv:1705.07049|What are the Receptive, Effective Receptive, and Projective Fields of Neurons in Convolutional Neural Networks?]]''. Arxiv.</ref>。すなわち出力中の一点へと情報を伝達しうる入力域である。視覚等の感覚神経における「[[受容野]]」から転用して名付けられた。

例えば1次元の入出力をもつ1層のCNNがあったとする。CNNのカーネルサイズが <math>3</math> だった場合、出力 <math>o_2</math> は入力 <math>i_1</math>, <math>i_2</math>, <math>i_3</math> の重みづけ和で計算されるため受容野は <math>3</math> になる。このCNNを2層重ねた場合、<math>o_3</math> は中間層 <math>m_2</math>, <math>m_3</math>, <math>m_4</math> の和でありさらに <math>m_2</math> は <math>i_1</math>, <math>i_2</math>, <math>i_3</math>、<math>m_4</math> は <math>i_3</math>, <math>i_4</math>, <math>i_5</math> の和となるため、CNNの受容野は <math>5</math> になる。

Convパラメータ・変種およびネットワーク変種によって受容野サイズへ異なる影響を与える。以下はその一例である。

* Kernelパラメータ: 受容野の端をカーネルで置き換える形で広げる
* Strided Convolution: 受容野の端以外の部分をstride倍率に合わせて倍増させる
* Dilated Convolution: 歯抜けカーネルであるため、より大きいカーネルとして振る舞う（例: k3d2はk5と同じ受容野）

受容野のサイズは再帰的に求めることができる。

<math>N</math> 層の畳み込みからのなるCNNを考える。ここでは第 <math>l</math> 層 <math>L_{l}</math> を畳み込み <math>C_{l+1}</math> で変換して次の層 <math>L_{l+1}</math> を得る（例: 入力層 <math>L_{0}</math> に <math>C_{1}</math> を作用させて中間層 <math>L_{1}</math> を得る）。ここで <math>C_{l}</math> はカーネルサイズ <math>k_{l}</math> 、ストライド <math>s_{l}</math> をもつとする。出力層 <math>L_{N}</math> から見た <math>L_{l}</math> における受容野を <math>RF_{l}</math> としたとき、次の式が成立する（図参照）<ref>"layer k ... ''R<sub>k</sub>'' be the ERF ... ''f<sub>k</sub>'' represent the filter size ... the final top-down equation: <math>R_{k,j} = \left ( R_{k,j+1} - 1 \right ) s_{j+1} + f_{j+1}</math>"</ref>。
[[ファイル:CNN Receptive field.png|サムネイル|CNN受容野の再帰計算]]
<math>RF_{l-1} = \left ( RF_{l} - 1 \right ) s_{l} + k_{l}</math>

よって <math>RF_{N} = 1</math> を初期条件としてこの式を入力層受容野 <math>RF_{0}</math> まで再帰することで受容野を計算できる。 

== 歴史 ==
[[画像処理]]の[[フィルタ (信号処理)|フィルタ]]として[[畳み込み]]を使用するという手法はコンピューターでの画像処理が登場した初期の段階から使われている手法である。[[エッジ検出]]や[[ガウシアンぼかし]]など多数ある。

畳み込みニューラルネットワークは動物の[[視覚野]]から[[数理生物学|発想]]を得て<ref name="robust face detection">{{cite journal|last=Matusugu|first=Masakazu|year=2003|title=Subject independent facial expression recognition with robust face detection using a convolutional neural network|url=http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf|journal=Neural Networks|volume=16|issue=5|pages=555–559|accessdate=17 November 2013|doi=10.1016/S0893-6080(03)00115-1|author2=Katsuhiko Mori|author3=Yusuke Mitari|author4=Yuji Kaneda}}</ref>[[福島邦彦]]によって提唱された[[ネオコグニトロン]]に起源を持つ<ref name="fukuneoscholar">{{cite journal|last1=Fukushima|first1=K.|year=2007|title=Neocognitron|url=|journal=Scholarpedia|volume=2|issue=1|page=1717|doi=10.4249/scholarpedia.1717}}</ref><ref name="intro">{{cite journal|last=Fukushima|first=Kunihiko|year=1980|title=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position|url=http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf|journal=Biological Cybernetics|volume=36|issue=4|pages=193–202|accessdate=16 November 2013|doi=10.1007/BF00344251|pmid=7370364}}</ref><ref name="LeCun">{{cite web|url=http://yann.lecun.com/exdb/lenet/|title=LeNet-5, convolutional neural networks|last=LeCun|first=Yann|accessdate=16 November 2013}}</ref>。ネオコグニトロンはニューラルネットワークで畳み込みを使用した。

有名なモデルとして以下のものがある。
* 1979年 - [[ネオコグニトロン]]
* 1989年 - [[LeNet]]
* 2012年 - [[AlexNet]]。[[トロント大学]]のチーム名 SuperVision が ImageNet Large Scale Visual Recognition Challenge 2012 (ILSVRC 2012) で優勝<ref name="ILSVRC2012">{{Cite web |title=ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) |author= |work=image-net.org |date= |access-date=16 July 2024 |url= https://www.image-net.org/challenges/LSVRC/2012/results.html}}</ref>。[[ディープラーニング]]のブームが始まる。
* 2014年 - VGG。[[オックスフォード大学]]のチーム名 VGG が ILSVRC 2014 で優勝。<ref>{{Cite web |title=ILSVRC2014 Results |author= |work=image-net.org |date= |access-date=16 July 2024 |url= https://image-net.org/challenges/LSVRC/2014/results}}</ref>
* 2015年 - [[残差ネットワーク|ResNet]]。[[マイクロソフト]]のチーム名 MSRA が ILSVRC 2015 で優勝。<ref>{{Cite web |title=ILSVRC2015 Results |author= |work=image-net.org |date= |access-date=16 July 2024 |url= https://image-net.org/challenges/LSVRC/2015/results}}</ref>

2012年からのディープラーニングブームより前の画像認識は画像（ピクセルデータ）を注意深く設計された[[データ前処理]]により[[特徴量]]（1999年の[[:en:Scale-invariant feature transform|SIFT]]や2006年の[[:en:Speeded up robust features|SURF]]など）へ変換し、それを用いた学習が主流だった。例えば AlexNet が優勝した ILSVRC 2012 の2位のモデルの ISI は SIFT などを使用している<ref name="ILSVRC2012"/>。畳み込みニューラルネットワークはピクセルを直接入力に用いることができ、特徴量設計において専門家の知識に依存しない特徴をもつとされた{{Sfn|藤吉|2019|p=293-294}}。現在では畳み込みニューラルネットワーク以外のニューラルネットワーク（例: Vision [[Transformer (機械学習モデル)|Transformer]]; ''ViT''、[[多層パーセプトロン|MLP]]ベースの ''gMLP''）でもピクセル入力の画像処理が実現されている<ref>Dosovitskiy, et al. (2021). ''An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale''. ICLR 2021.</ref><ref>Liu, et al. (2021). ''Pay Attention to MLPs''. NeurIPS 2021.</ref>。ゆえに畳み込みそのものが特徴量設計を不要にするキー技術であるとは言えないことがわかっている{{要出典|date=2021年11月}}。

== 脚注 ==
=== 注釈 ===
{{Notelist}}
=== 出典 ===
{{Reflist}}

== 参考文献 ==
* {{Cite journal|last=藤吉|first=弘亘|year=2019|date=2019-04|title=リレー解説　機械学習の可能性 《第1回》機械学習の進展による画像認識技術の変遷|journal=計測と制御|volume=58|issue=4|pages=291-297|publisher=計測自動制御学会|ref=harv|DOI=10.11499/sicejl.58.291|issn=1883-8170}}

== 関連項目 ==
* [[ニューラルネットワーク]]
* [[ディープラーニング]]
* [[畳み込み]]
* [[ネオコグニトロン]]
* [[LeNet]]
* [[AlexNet]]

{{DEFAULTSORT:たたみこみにゆうらるねつとわあく}}
[[Category:人工ニューラルネットワーク]]
[[Category:計算論的神経科学]]
[[Category:コンピュータビジョン]]
[[Category:ディープラーニング]]