ディープラーニングのソースを表示

{{Expand English|date=2023年12月}}
[[File:Deep Learning.jpg|alt=Representing images on multiple layers of abstraction in deep learning|thumb|upright=1.35| ディープラーニングにおける抽出の多層レイヤーによる画像表示<ref>{{Cite journal|last1=Schulz|first1=Hannes|last2=Behnke|first2=Sven|date=1 November 2012|title=Deep Learning|journal=KI - Künstliche Intelligenz|language=en|volume=26|issue=4|pages=357–363|doi=10.1007/s13218-012-0198-z|s2cid=220523562|issn=1610-1987|url=https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0}}</ref>。]]
{{Machine learning bar}}
{{ 人工知能 | 研究手法 }}
'''ディープラーニング'''（{{Lang-en-short|deep learning}}）または'''深層学習'''（しんそうがくしゅう）とは、対象の全体像から細部までの各々の粒度の概念を階層構造として関連させて学習する手法のことである<ref name=":1">{{Cite web|url=https://www.deeplearningbook.org/contents/intro.html|title=Deep Learning|accessdate=2021年2月4日|publisher=マサチューセッツ工科大学出版局|author=Ian Goodfellow and Yoshua Bengio and Aaron Courville|language=English}}</ref><ref group="注釈" name=":0">ディープラーニング(深層学習)の大家として世界的に知られるIan Goodfellow，Yoshua Bengio，Aaron Courvilleが著した"Deep Learning"という教科書のIntroductionの第4パラグラフ（pp.1-2）におけるディープラーニングの定義では、ニューラルネットワークについて全く触れられておらず、「概念の階層により、コンピューターは、単純な概念から複雑な概念を構築することにより、複雑な概念を学習できます。これらの概念がどのように相互に構築されているかを示すグラフを描くと、グラフは深く、多くの層があります。このため、このアプローチをAIディープラーニングと呼びます。」と概念の階層構造により定義している。</ref>。深層学習は複数の独立した[[機械学習]]手法の総称であり、その中でも最も普及した手法は、（狭義には4層以上<ref name="asou">{{cite book|和書|author=麻生英樹 他、監修: 人工知能学会|title=深層学習 |chapter= 深層学習手法の全体像|year=2015|publisher=近代科学社|pages=xiv|isbn= 9784764904873 }}</ref><ref group="注釈">2層なら単純[[パーセプトロン]]。3層なら階層型ニューラルネット。これらと比較して深い層の階層型ニューラルネットを、深層（階層型）ニューラルネットと呼ぶ。</ref>の）多層の人工[[ニューラルネットワーク]]（ディープニューラルネットワーク、{{Lang-en-short|deep neural network}}; DNN）による機械学習手法である<ref name="#1">深層学習 人工知能学会 深層学習手法の全体像xiii</ref>。

要素技術としては[[バックプロパゲーション]]など、20世紀のうちに開発されていたものの、4層以上の深層ニューラルネットについて、局所最適解や勾配消失などの技術的な問題によって十分学習させられず、性能も芳しくなかった。しかし、[[ジェフリー・ヒントン]]の研究チームが[[2006年]]に多層ニューラルネットワークを用いた[[オートエンコーダ]]を発表したことをきっかけに、多層ニューラルネットワークの学習の研究が進展し、同時に学習に必要な計算機の能力向上と[[インターネット]]の発展による学習データの流通が相まって、十分に学習させられるようになった。その結果、[[音声認識|音声]]・[[画像認識|画像]]・[[自然言語処理|自然言語]]を対象とする諸問題に対して他の手法を圧倒する高い性能を示し<ref name="Okatani_DL">岡谷貴之 深層学習 (機械学習プロフェッショナルシリーズ)、2015年4月8日、まえがき、ISBN 978-4061529021</ref>、2000年代末から2010年代にかけて急速に普及した<ref name="asou" /><ref>「深層学習の原理に迫る 数学の挑戦」今泉允聡 岩波書店 2021/04/16 試し読み https://www.iwanami.co.jp/moreinfo/tachiyomi/0297030.pdf https://www.iwanami.co.jp/book/b570597.html

深層学習の汎化誤差のための近似性能と複雑性解析 2019/11/22 IBIS企画セッション 今泉允聡 東京大学 （統計数理研究所 / 理化学研究所 / JSTさきがけ）https://ibisml.org/ibis2019/files/2019/11/slide_imaizumi.pdf https://sites.google.com/view/mimaizumi/home_JP </ref><ref name=":0" /><ref name=":1" group="注釈" />。

深層学習が機械学習分野に与えた影響は非常に大きく、[[2015年]]に発表された[[拡散モデル]]に代表される生成モデルの多くに組み込まれたほか、[[2017年]]に発表された[[Transformer (機械学習モデル)|Transformer]]をはじめとする[[大規模言語モデル]]などの基盤にもなっている<ref>{{Cite web|和書|title=ChatGPTを賢くする呪文 - 日本経済新聞 |url=https://www.nikkei.com/article/DGXZQOUC22BVO0S3A320C2000000/ |website=www.nikkei.com |access-date=2023-05-07}}</ref>。しかし、深層学習によって行われた[[パターン認識]]がどのような根拠に基づいているかを解析することは難しく、ブラックボックス問題を引き起こしている<ref name=":3">{{Cite web|和書|title=人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋ |url=https://globe.asahi.com/article/12872410 |website=朝日新聞GLOBE＋ |access-date=2022-08-28 |language=ja-JP}}</ref>。また、開発競争がきわめて激しく、最新の手法が数ヶ月で古くなるような事もあり得る状況であるため、常に最先端の技術を追いかけ続けることは容易ではない<ref>{{Cite web|和書|title=加藤邦人 {{!}} 岐阜大学 人工知能研究推進センター |url=https://www1.gifu-u.ac.jp/~g_ai/researchers/Kunihito_Kato/home.html |website=www1.gifu-u.ac.jp |access-date=2023-05-07}}</ref><ref group="注釈">技術開発のスピードが速すぎて学会の査読が追いつかないため、arXivなどのプレプリントサービスに掲載された論文が参考文献として挙げられる場合も多い。</ref>。

== 概要 ==
ディープラーニングは、学習に用いる具体的な数学的概念はどうであれ、対象の全体像から細部までの各々の粒度の概念を階層構造として関連させて学習する手法を指す<ref name=":1" /><ref name=":0" group="注釈" />。[[21世紀]]に入って、[[オートエンコーダ]]を始めとする[[ジェフリー・ヒントン]]らによる多層[[ニューラルネットワーク]]による学習の研究や、学習に必要な計算機の能力向上、および、インターネットの発展による学習データの流通により、多層ニューラルネットによる手法が最初に確立された。その結果、[[音声認識|音声]]・[[画像認識|画像]]・[[自然言語処理|自然言語]]を対象とする諸問題に対し、他の手法を圧倒する高い性能を示し<ref name="Okatani_DL">岡谷貴之 深層学習 (機械学習プロフェッショナルシリーズ)、2015年4月8日、まえがき、ISBN 978-4061529021</ref>、2010年代に普及した<ref name="asou" />。結果として（狭義には4層以上<ref name="asou">{{cite book|和書|author=麻生英樹 他、監修: 人工知能学会|title=深層学習 |chapter= 深層学習手法の全体像|year=2015|publisher=近代科学社|pages=xiv|isbn= 9784764904873 }}</ref><ref group="注釈">2層なら単純[[パーセプトロン]]。3層なら階層型ニューラルネット。これらと比較して深い層の階層型ニューラルネットを、深層（階層型）ニューラルネットと呼ぶ。</ref>の）多層の人工ニューラルネットワーク（ディープニューラルネットワーク、{{Lang-en-short|deep neural network}}; DNN）による[[機械学習]]手法<ref name="#1"/>が広く知られるようになったが、ニューラルネットワーク以外でも深層学習は構成可能であり、現在はニューラルネットワークよりも抽象的な深層学習の数学的概念が模索されている最中にある<ref name=":0">{{Cite web|url=https://www.deeplearningbook.org/contents/intro.html|title=Deep Learning|accessdate=2021年2月3日|publisher=An MIT Press book|author=Ian Goodfellow and Yoshua Bengio and Aaron Courville|page=14}}</ref>。ビジネスの現場では多層ニューラルネットワークの応用が盛んであり、「ディープラーニング=ニューラルネットワーク」などと解釈される事が多いが、学界ではニューラルネットワーク以外の手法も含めた抽象的な概念として説明される<ref name=":0" /><ref group="注釈" name=":1">学界は[[人工知能]]が有用であればどのような実現方法でも良いとの認識である{{要出典|date=2023年5月}}。従って、学界は計算機における[[人間]]の[[脳]]の再現だけを目指しているわけではない{{要出典|date=2023年5月}}。また、[[ニューラルネットワーク]]は[[人間]]の[[脳神経]]の[[ネットワーク]]{{要曖昧さ回避|date=2023年5月}}構造に着想を得て研究が始められただけであり{{要出典|date=2023年5月}}、その後は一部の研究事例を除いて[[人間]]の[[脳]]とは無関係に多様な方法で理論拡張が行われ続けている{{要出典|date=2023年5月}}。</ref>。

== 歴史 ==
{{節スタブ|date=2015年5月}}
ディープラーニングは[[ニューラルネットワーク]]の分野で最初に実現されたため、[[歴史]]はニューラルネットワークの発展から順次記載する。

=== 前史 ===
{{See also|ニューラルネットワーク#歴史}}
ニューラルネットワークの構成要素となる[[パーセプトロン]]が考案されたのは1957年であるが、計算機の性能の大幅な不足や、2層からなる単純パーセプトロンでは[[排他的論理和]]の認識ができないなどの欠点があったため、研究が大きく続けられることはなかった{{sfn|小林雅一|2013|p=92}}。その後、1980年代より、排他的論理和の問題を扱うことができる3層からなる多層パーセプトロンの学習を可能にする[[バックプロパゲーション]]が開発されたが、非効率的なメカニズムや、動詞の過去形など複雑な認識ができない（そもそも3層ニューラルネットで任意関数は全て近似可能であり、[[大脳新皮質]]がなぜ3層以上存在するのかが不明であった）などの要因により、1990年代後半には沈静化した<ref>{{Cite web|和書|url=http://wirelesswire.jp/2015/05/30505/|title=ディープラーニングはビジネスにどう使えるか?|publisher=WirelessWire News|date=2015-5-20|accessdate=2015-5-21}}</ref>{{sfn|小林雅一|2013|p=94}}。

==== ネオコグニトロン（1979年） ====
ディープラーニングのような多層ニューラルネットワークを志向する先駆的研究として、日本の福島邦彦（NHK放送技術研究所、その後大阪大学基礎工学部生物工学科）によって1979年に発表された[[ネオコグニトロン]]<ref>{{Cite web|和書|url=http://dbnst.nii.ac.jp/pro/detail/498|title=ネオコグニトロン|accessdate=2015-6-30}}</ref><ref>{{Cite web|和書|url=http://search.ieice.org/bin/summary.php?id=j62-a_10_658&category=A&lang=J&year=1979&abst=|title=位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン ---|publisher=電子通信学会論文誌A|date=1979-10-1|accessdate=2017-8-16}}</ref>が挙げられる<ref>{{Cite web|和書|url=https://xtech.nikkei.com/dm/article/INTERVIEW/20150521/419523/?ST=tomict |title=「ネオコグニトロンはまだ進化する」、画像向けディープラーニング「CNN」の父に聞く|date=2015-5-22|accessdate=2015-9-3}}</ref><ref>{{Cite web|和書|url=https://www.4gamer.net/games/999/G999902/20150829007/|title=［CEDEC 2015］画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する|publisher=4gamer|date=2015-8-29|accessdate=2015-9-1}}</ref>。ネオコグニトロンには自己組織化機能があり、自ら学習することによってパターン認識能力を獲得（概念の形成）していく。応用例として、福島らは手書き文字データベース（ビッグデータ）から自己学習によって手書き文字認識能力（各文字の概念）が獲得されることを実証した。しかし、当時は「手書き文字認識方式の一つ」と誤解され、その重要性についての認識が世間に広がらなかった{{sfn|小林雅一|2015|p=107}}。この当時はネオコグニトロンを検証する上では[[コンピュータ|デジタルコンピュータ]]が貧弱過ぎたため、[[ソフトウェア]]での検証が不可能であり、[[素子 (工学)|回路素子]]を繋ぎ合わせてネオコグニトロンを実装して検証が行われた。学習方法に[[バックプロパゲーション|誤差逆伝播法]]ではなくadd-if silentを使用している以外は[[畳み込みニューラルネットワーク|畳み込みニューラルネットワーク（CNN）]]と同じであり、時代を考えると非常に先見性があった。

==== LeNet-5（1998年） ====
[[1998年]]には畳み込みニューラルネットワーク（CNN）の直系の元祖となるLeNet-5（末尾の数字は5層であることを表す）が提案された。論文の中で、ニューラルネットワークの層構造を板状の図形で図示する方法が初めて用いられた<ref>{{Cite web|title=MNIST Demos on Yann LeCun's website|url=http://yann.lecun.com/exdb/lenet/|website=yann.lecun.com|accessdate=2021-03-31}} / 1989.02 サイエンス社 ニューロコンピューター読本 pp.32 の図に板状を用いた同類の記述がある。</ref>。

=== 多層ニューラルネットワークの実現（2006 - 2012年） ===
初期のディープラーニングはジェフリー・ヒントンによる貢献が大きいため、ニューラルネットワークによる理論実証の過程を記載する<ref>{{Cite journal|last=Tappert|first=Charles C.|date=2019-12|title=Who Is the Father of Deep Learning?|url=https://ieeexplore.ieee.org/document/9070967|journal=2019 International Conference on Computational Science and Computational Intelligence (CSCI)|pages=343–348|doi=10.1109/CSCI49370.2019.00067}}</ref>。

単層[[パーセプトロン]]の「線型分離不可能な問題」を解けない、という限界は、[[多層パーセプトロン]]の機械学習が[[バックプロパゲーション]]により実現されたことで、ある程度は解決された。しかし、層数を増やした多層ニューラルネットの学習は、局所最適解や勾配消失などの技術的な問題によって、十分に学習させられず、性能も芳しくないとして、1990年代を中心とした時期には研究なども退潮気味にあった。また、これら理論の不備以前の問題として、発展的な[[機械学習]]を行うには[[コンピュータ]]の計算性能が大幅に不足しており、大量のデータの入手も難しかったため、研究の大きな障害になっていた。しかし、[[インターネット]]が広く普及し、コンピュータの性能が向上した[[2006年]]にニューラルネットワークの代表的な研究者である[[ジェフリー・ヒントン]]らの研究チームが、[[ボルツマンマシン|制限ボルツマンマシン]]による[[オートエンコーダ]]（自己符号化器）の深層化に成功<ref group="注釈">積層自己符号化器（スタックドオートエンコーダ）と呼ばれる手法</ref>し、再び注目を集めるようになった。この時発明された手法は積層自己符号化器（スタックトオートエンコーダ）と呼ばれた。この際、発表した論文から、これまでの多層ニューラルネットよりもさらに深いネットワーク構造を意味する、ディープネットワークの用語が定着した。元々はジェフリー・ヒントンらの開発したディープネットワークは層が直列された単純な構造をしていたが、現在のアルゴリズムは複数の分岐やループのある複雑な[[グラフ (離散数学)|グラフ]]構造を持つ。そのため、基本技術をまとめて複雑なグラフ構造を簡単に実現できるようにした[[ライブラリ]]も公開されている。2012年には物体の認識率を競うILSVRCにおいてジェフリー・ヒントン率いる[[トロント大学]]のチームがAlexNetによって従来の手法（エラー率26%）に比べてエラー率17%と実に10%もの劇的な進歩を遂げたことが機械学習の研究者らに衝撃を与えた。その後もILSVRCでは毎年上位はディープラーニングを使ったチームが占めるようになり、エラー率は2014年時点で5%程度にまで改善した<ref>{{Cite web|和書|url=https://xtech.nikkei.com/it/atcl/column/14/090100053/091800010/ |title=［脳に挑む人工知能1］驚異のディープラーニング、その原型は日本人が開発 |publisher=日経 xTECH（クロステック） |author=浅川 直輝 |date=2014-10-01 |accessdate=2019-12-20}}</ref>。

=== 学習モデルの複雑化・数学的抽象化の時代（2012年 - 現在） ===
コンピュータのハード性能の急激な進歩、インターネット普及によるデータ収集の容易化、[[CPU]]よりも単純な演算の並列処理に優れた[[Graphics Processing Unit|GPU]]の低価格化、また、それらの計算資源の拡張を礎として、画像処理におけるディープラーニングの有用性が競技会で世界的に認知された[[2012年]]頃からは急速に研究が活発となり、第三次人工知能ブームが到来したとされている<ref>{{Cite web|和書|url=http://enterprisezine.jp/article/detail/6471?p=2 |title=【第四回】今、最も熱いディープラーニングを体験してみよう（2ページ） |publisher=エンタープライズ |date=2015-1-14 |accessdate=2015-5-30}}</ref>。これ以後は様々な[[アプリケーションソフトウェア|アプリ]]に[[人工知能]]が組み込まれ、ユーザーに最適な回答を返す事が出来るようになって行った。

2016年、グーグル翻訳はディープラーニングを利用して、従来の統計的翻訳から、ほぼ人間レベルの翻訳へと変貌を遂げた<ref>{{Cite web |title=A Neural Network for Machine Translation, at Production Scale |url=https://ai.googleblog.com/2016/09/a-neural-network-for-machine.html |website=ai.googleblog.com |date=2016-09-27 |access-date=2023-07-30 |language=en}}</ref>。その結果、人間にとって機械翻訳は日常生活での常識となり、計算神経科学などを研究する学者が揺るがされる時代となった<ref>{{Cite web|和書|title=4-9 Surviving in the New Information Economy - Adopting a Learning Lifestyle |url=https://www.coursera.org/lecture/mindshift/4-9-surviving-in-the-new-information-economy-x4r9z |website=Coursera |access-date=2023-07-30 |language=ja}}</ref>。2022年には、Stable Diffusionなどにおけるディープラーニングの利用がPixivのような画像投稿サイトを変革し<ref>{{Cite news |title=Startup Stability Releases New AI Model For Stable Diffusion as Deep-Fake Concerns Rise |url=https://www.bloomberg.com/news/articles/2023-06-22/startup-stability-debuts-a-new-ai-model-for-stable-diffusion |work=Bloomberg.com |date=2023-06-22 |access-date=2023-07-30 |language=en}}</ref>、ディープラーニングを利用したChatGPTなどが世界に革命をもたらした<ref>{{Cite web |title=ChatGPT — Release Notes {{!}} OpenAI Help Center |url=https://help.openai.com/en/articles/6825453-chatgpt-release-notes |website=help.openai.com |access-date=2023-07-30 |language=en}}</ref>。

== 利用 ==
ディープラーニングは物体認識を中心にさまざまな分野で活用されている。また、Googleをはじめとした多くのIT企業が研究開発に力を入れている。国家の経済成長を大きく左右する技術であるため、国家間の研究開発競争は[[経済戦争]]を引き起こしている。

Googleの[[Android (オペレーティングシステム)|Android]] 4.3<ref>{{Cite web|和書|url=https://ascii.jp/elem/000/000/991/991583/|title=Googleのディープラーニングはレトロゲームを自分で学習してプレイする|publisher=ascii×デジタル|date=2015-3-21|accessdate=2015-5-21}}</ref>は、音声認識にディープラーニング技術を活用することで、精度を25から50パーセント向上させた{{sfn|小林雅一|2015|p=29}}。2012年、[[スタンフォード大学]]との共同研究である{{仮リンク|グーグル・ブレイン|en|Google Brain}}は、1,000の[[サーバ|サーバー]]の16,000のコアを使い、3日間で[[ネコ|猫]]の画像に反応する[[ニューラルネットワーク]]を構築したと発表して話題となった{{sfn|小林雅一|2015|p=28}}<ref name="wired112">{{Cite web|和書|url=http://wired.jp/2014/11/20/google-image-recognition/|title=グーグルが開発を進めている、写真を「自動的に説明する」技術|publisher=wired|date=2014-11-20|accessdate=2015-5-18}}</ref>。この研究では、200ドット四方の1,000万枚の画像を解析させている。ただし、人間の脳には遠く及ばないと指摘されている<ref name="pcw632">{{Cite web|和書|url=https://pc.watch.impress.co.jp/docs/column/kaigai/644632.html|title=ディープラーニングというGPUの新市場|publisher=PC Watch|date=2014-4-17|accessdate=2015-5-21}}</ref>。GoogleLeNetと呼ばれるチームによる[[トロント大学]]との共同研究では、画像の説明文を自動で生成できる「Image to Text」と呼ばれるシステムを開発した。これは、[[コンピュータビジョン]]と自然言語処理を組み合わせ、ユーザーがアップロードした画像を認識し、説明文を表示するもの<ref>{{Cite web|和書|url=https://gigazine.net/news/20141213-images-to-text/|title=画像をアップすると自動で説明文を生成してくれる「Images to Text」|publisher=GIGAZINE|date=2014-12-13|accessdate=2015-5-21}}</ref><ref>{{Cite web|和書|url=http://wired.jp/2014/11/20/google-image-recognition/|title=グーグルが開発を進めている、写真を「自動的に説明する」技術|publisher=WIRED|date=2014-11-20|accessdate=2015-5-30}}</ref><ref>{{Cite web|和書|url=http://wired.jp/2014/09/09/google-research-object-recognition/|title=人工知能は世界をもっと認識できる：グーグルのコンピューターヴィジョン|publisher=WIRED|date=2014-9-9|accessdate=2015-5-30}}</ref>である。2015年3月、Schroffらは800万人の2億枚の画像を99.6%の精度で判定した（22層）<ref>[https://www.4gamer.net/games/999/G999902/20150829007/ CEDEC 2015 画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する]松尾豊東京大学大学院准教授の発表スライドから</ref>。2016年1月、[[AlphaGo]]と呼ばれるシステムが中国系フランス人の[[ヨーロッパ碁コングレス|ヨーロッパ囲碁王者]]である[[樊麾]]と2015年10月に対局し、5戦全勝の成績を収めていたことが発表された。主に開発に携わったのは2013年にGoogleが買収したDeepMind。囲碁は[[チェス]]よりも盤面が広いために打てる手数の多さは比較にならないほどで人間のプロと互角に打てるようになるまでさらに10年はかかるという予測を覆した点と、囲碁に特化したエキスパートマシンではなく汎用的にも用いることができるシステムを使っている点に注目が集まった<ref>
{{Cite web|和書
|url  = http://japanese.engadget.com/2016/01/28/google-ai-alphago/|archiveurl=https://web.archive.org/web/20160128071549/http://japanese.engadget.com/2016/01/28/google-ai-alphago/|archivedate=2016-01-28|url-status=dead|url-status-date=2022-05-01
|title = Googleの囲碁AI『AlphaGo』がプロ棋士に勝利、史上初の快挙。自己対局を機械学習して上達
|accessdate = 2016-03-02
|author = ITTOUSAI
|date  = 2016-01-28
|publisher = Engadget
}}
</ref><ref>
{{Cite web|和書
|url  = http://wired.jp/2016/01/31/huge-breakthrough-google-ai/
|title = 「囲碁の謎」を解いたグーグルの超知能は、人工知能の進化を10年早めた
|accessdate = 2016-03-02
|author = CADE METZ
|date  = 2016-01-31
|publisher = WIRED
}}
</ref>。2016年から2017年にかけては、いずれも世界トップクラスの棋士である[[大韓民国|韓国]]の[[李世ドル|李世乭]]と[[中華人民共和国|中国]]の[[柯潔]]と対戦し、2016年の李世ドルとの5番勝負では4勝1敗、2017年の柯潔との3番勝負では3連勝を収めた<ref>{{cite news|date=2016-03-16|url=https://web.archive.org/web/20160316142025/http://japanese.joins.com/article/276/213276.html|title=＜囲碁：人間ｖｓ人工知能＞李世ドル「必ず勝ちたかったが、３連敗した時より今日のほうが辛かった」|publisher=[[中央日報]]|accessdate=2018-02-07}}</ref><ref>{{Cite web|和書|url=http://www.nihonkiin.or.jp/match_news/match_result/alphago33.html|title=
AlphaGoが最終戦も勝利で3連勝|accessdate=2018-02-07|author=|date=2017-05-27|publisher=[[日本棋院]]}}</ref>。
{{See also|DQN (コンピュータ)|Google DeepMind|AlphaGo|AlphaGo対李世ドル}}

[[Facebook]]は、ユーザーがアップロードした画像を、ディープラーニングによって認識させ、何が写っているかの判別精度を向上させている{{sfn|小林雅一|2015|p=29}}。また、人工知能研究ラボを2013年に立ち上げ<ref>{{Cite web|和書|url=https://www.itmedia.co.jp/news/articles/1312/10/news076.html|title=Facebook、人工知能研究ラボを立ち上げ|publisher=ITMedia News|date=2013-12-10|accessdate=2015-5-22}}</ref>、その成果としてディープラーニング開発環境を2015年1月16日に[[オープンソース]]で公開した。これは、GPU環境において、従来のコードの23.5倍の速度を実現しており<ref>{{Cite web|和書|url=https://www.itmedia.co.jp/enterprise/articles/1501/19/news069.html|title=Facebook、ディープラーニング開発環境「Torch」向けモジュールをオープンソースで公開|publisher=ITMedia News|date=2015-1-19|accessdate=2015-5-22}}</ref>、ディープラーニングの研究開発の促進が期待されている<ref>{{Cite web|和書|url=http://japan.zdnet.com/article/35059155/|title=Facebook、ディープラーニング技術をオープンソースに|publisher=ZDNet Japan||date=2015-1-19|accessdate=2015-5-22}}</ref>。

ニューラルネットワークによるディープラーニングを使った[[ニューラル機械翻訳]]（NMT）が登場したことで、翻訳の品質が大幅に向上した<ref name=nmt001>中澤敏明、[https://doi.org/10.1241/johokanri.60.299 機械翻訳の新しいパラダイム：ニューラル機械翻訳の原理] 『情報管理』 2017年 60巻 5号 p.299-306, {{doi|10.1241/johokanri.60.299}}</ref>。

エンターテインメントにおいても、NPCのAIはメタ解析によるディープラーニングが主流となり<ref>{{Cite journal|last=Lu|first=Yunlong|last2=Li|first2=Wenxin|date=2022-08-12|title=Techniques and Paradigms in Modern Game AI Systems|url=https://www.mdpi.com/1999-4893/15/8/282|journal=Algorithms|volume=15|issue=8|pages=282|language=en|doi=10.3390/a15080282|issn=1999-4893}}</ref>、ゲームデザインには人間とAIの協調が求められるようになった<ref>{{Cite journal|author=M. Wittmann, Benedikt Morschheuser|year=2022|title=What do games teach us about designing effective human-AI cooperation? - A systematic literature review and thematic synthesis on design patterns of non-player characters|journal=GamiFIN Conference}}</ref>。また、自動運転車の障害物センサー<ref>{{Cite web|和書|url=https://news.mynavi.jp/techplus/article/20150520-automotive201501/|title=人とくるまのテクノロジー展2015 - 「ディープラーニング」を採用したZMPのRoboCar MiniVan|publisher=マイナビニュース|date=2015-5-20|accessdate=2015-5-26}}</ref>や医療にも使われている<ref>{{Cite journal|last=Iizuka|first=Tomomichi|last2=Fukasawa|first2=Makoto|last3=Kameyama|first3=Masashi|date=2019-06-20|title=Deep-learning-based imaging-classification identified cingulate island sign in dementia with Lewy bodies|url=https://www.nature.com/articles/s41598-019-45415-5|journal=Scientific Reports|volume=9|issue=1|language=en|doi=10.1038/s41598-019-45415-5|issn=2045-2322|pmc=6586613|pmid=31222138}}</ref>。

利点が多い一方で、[[倫理]]{{要曖昧さ回避|date=2023年5月}}的な問題や[[犯罪]]も発生している。例えば、中国では[[天網]]に代表されるようにディープラーニングが国民に対する当局の監視強化を目的に急速に普及しており<ref>{{cite news|date=2017-06-30|url=http://jp.wsj.com/articles/SB11588421679375374726504583234572468806316|title=顔認証で市民監視、中国の新たなAIツール |publisher=[[ウォール・ストリート・ジャーナル]]|accessdate=2018-02-07}}</ref><ref>{{cite news|date=2017-11-18|url=https://jp.reuters.com/article/china-facial-recognition-firms-idJPKBN1DF0PT|title=アングル：中国の顔認証技術に活況投資、監視用の需要も後押し|publisher=[[ロイター]]|accessdate=2018-02-07}}</ref><ref>{{cite news|date=2018-02-03|url=https://wpb.shueisha.co.jp/news/technology/2018/02/03/99109/|title=中国の「超ＡＩ監視社会」－－新疆ウイグル自治区では“体内”まで監視！|publisher=[[集英社]]|accessdate=2018-02-07}}</ref>、世界のディープラーニング用サーバーの4分の3を占めているとされる<ref>{{cite news|date=2018-01-20|url=http://japanese.engadget.com/2018/01/19/300m/|archiveurl=https://web.archive.org/web/20200313223143/http://japanese.engadget.com/2018/01/19/300m/|archivedate=2020-03-13|deadlinkdate=2022-05-01|title=中国、新疆ウイグル自治区で顔認識システム運用をテスト。指定地域から300m以上離れると当局に警告|publisher=[[Engadget]]|accessdate=2018-02-07}}</ref>。米国政府によれば2013年からディープラーニングに関する論文数では中国が米国を超えて世界一となっている<ref>{{cite news|date=2017-08-16|url=https://wired.jp/2017/08/16/america-china-ai-ascension/|title=中国が「AI超大国」になる動きは、もはや誰にも止められない|publisher=[[WIRED]]|accessdate=2018-02-07}}</ref>。ヒントンらと並んで「ディープラーニングの父」と呼ばれている[[ヨシュア・ベンジオ]]は中国が市民の監視や独裁政治の強化に人工知能を利用していることに警鐘を鳴らした<ref>{{cite news|date=2019-04-01|url=https://web.archive.org/web/20190401134739/https://www.sankeibiz.jp/macro/news/190401/mcb1904010710001-n1.htm|title=「深層学習の父」、中国のＡＩ利用に警鐘|publisher=[[Sankei Biz]]|accessdate=2019-04-05}}</ref><ref>{{cite news|date=2019-02-02|url=https://www.bloomberg.com/news/articles/2019-02-02/deep-learning-godfather-bengio-worries-about-china-s-use-of-ai|title=Deep Learning ‘Godfather’ Bengio Worries About China's Use of AI|publisher=[[ブルームバーグ (企業)|ブルームバーグ]]|accessdate=2019-04-05}}</ref>。また、[[ディープフェイク]]という、本物と区別の付かない偽画像生成技術が登場し、特定の[[セレブリティ|有名人]]の顔や声を使って事実と異なる発言やポルノ（[[フェイクポルノ]]と呼ばれる）を収めた[[動画]]が多数流通するようになってからは、重大な[[名誉毀損]]や[[人格権]]の侵害の可能性があることから、[[警察]]が作成者やサイト運営者の[[摘発]]に動いている<ref>{{Cite web|和書|title=AI使った偽ポルノ「被害に対する原状回復は絶望的なほど困難」“ディープフェイク”技術の問題点とは：中日スポーツ・東京中日スポーツ|url=https://www.chunichi.co.jp/article/156918|website=中日スポーツ・東京中日スポーツ|accessdate=2021-03-31|language=ja}}</ref>。さらに、偽の画像や音声を用いて様々な無人制御システムを撹乱する攻撃が想定されるため、被害を未然に防ぐ観点から対策が行われている<ref>{{Cite web|和書|title=AIだって騙される？AIの抱える弱点とは一体何か｜セキュリティ通信|url=https://securitynews.so-net.ne.jp/topics/sec_20009.html|website=セキュリティ通信|accessdate=2021-04-01|language=ja}}</ref>。

日常生活では、ディープフェイクなどの用途で有名であるが、学術分野では医学や生物学の分野に革命をもたらしている<ref>{{Cite journal|last=Mahmud|first=Mufti|last2=Kaiser|first2=M. Shamim|last3=McGinnity|first3=T. Martin|last4=Hussain|first4=Amir|date=2021-01-01|title=Deep Learning in Mining Biological Data|url=https://doi.org/10.1007/s12559-020-09773-x|journal=Cognitive Computation|volume=13|issue=1|pages=1–33|language=en|doi=10.1007/s12559-020-09773-x|issn=1866-9964|pmc=7783296|pmid=33425045}}</ref>。

== ネットワークモデル ==
ネットワークモデルは現在も盛んに研究されており、毎年新しいものが提案されている。
=== 畳み込みニューラルネットワーク ===
[[畳み込みニューラルネットワーク]] (Convolutional Neural Networks: CNN) とは、全結合していない順伝播型ニューラルネットワークの一種。特に2次元の畳込みニューラルネットワークは人間の視覚野のニューロンの結合と似たニューラルネットワークであり、人間の認知とよく似た学習が行われることが期待される。結合がスパース（疎）であるため、全結合しているニューラルネットワークに比べて学習が高速である。

1979年に福島邦彦が発表した[[ネオコグニトロン]]から発展し、1988年にHomma Toshiteruらが音素の認識に<ref>{{cite journal|last=Homma|first=Toshiteru|author2=Les Atlas |author3=Robert Marks II |title=An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification|journal=Advances in Neural Information Processing Systems 1|year=1988|pages=31–40|url=http://papers.nips.cc/paper/20-an-artificial-neural-network-for-spatio-temporal-bipolar-patterns-application-to-phoneme-classification.pdf}}</ref>、1989年にYann LeCunらが文字画像の認識に使用し<ref>{{cite journal
|author=Yann Le Cun
|year=1989
|month=June
|title=Generalization and Network Design Strategies
|url=http://yann.lecun.com/exdb/publis/pdf/lecun-89.pdf
}}</ref><ref>{{cite journal
|author=Y. LeCun
|author2=B. Boser
|author3=J. S. Denker
|author4=D. Henderson
|author5=R. E. Howard
|author6=W. Hubbard
|author7=L. D. Jackel
|title=Backpropagation applied to handwritten zip code recognition
|journal=Neural Computation
|volume=1
|issue=4
|pages=541-551
|year=1989
}}</ref>、1998年にLeCunらが発表したLeNet-5へと続き、2012年にILSVRCでの物体カテゴリ認識で優勝したAlexNetも深層畳み込みニューラルネットワークである<ref>{{cite journal
|title=ImageNet Classification with Deep Convolutional Neural Networks
|author=Alex Krizhevsky
|author2=Ilya Sutskever
|author3=Geoffrey E. Hinton
|journal=Advances in Neural Information Processing Systems 25
|pages=1097-1105
|year=2012
|url=http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-
}}</ref>。ネオコグニトロンの時から深層であったが、近年は深層であることを強調するため、深層が頭につき、深層畳み込みニューラルネットワークと呼ばれることもある。自然言語処理に対する応用もなされはじめた。

=== スタックドオートエンコーダ ===
まず3層の[[オートエンコーダ]]で学習を行い、学習が完了したら次の層（4層目）をオートエンコーダとして学習する。これを必要な分だけ繰り返していき、最後に全層の学習を行う。事前学習とも呼ばれる。類似技術にディープビリーフネットワーク、ディープボルツマンマシンなどがある。

=== Residual network ===
入力データを出力に変える変換を学習するのではなく、[[残差]]{{要曖昧さ回避|date=2023年5月}}を学習する。通常の多層ニューラルネットより[[勾配消失問題|勾配消失]]がおきにくく、はるかに多層化できる。実験的には1000層まで学習されたものもある。欠点としては、入力次元数と出力次元数を変えることができない。

=== 敵対的生成ネットワーク===
{{Main| 敵対的生成ネットワーク}}
2つのネットワークが相反した目的のもとに学習するネットワークモデル。Discriminatorが損失関数の役目を担う。二乗誤差最小化などでは、ピークが一つしか無いことを仮定しているが、discriminatorはニューラルネットであるのでピークを複数持つ確率分布を近似でき、より一般の確率分布を扱うことができる。

=== Transformer ===
{{Main|Transformer (機械学習モデル)}}
Self-Attention機構（自己注意機構）を利用したモデルである<ref name=":2">{{Cite journal|last=Vaswani|first=Ashish|last2=Shazeer|first2=Noam|last3=Parmar|first3=Niki|last4=Uszkoreit|first4=Jakob|last5=Jones|first5=Llion|last6=Gomez|first6=Aidan N.|last7=Kaiser|first7=Lukasz|last8=Polosukhin|first8=Illia|date=2017-12-05|title=Attention Is All You Need|url=https://arxiv.org/abs/1706.03762|journal=arXiv:1706.03762 [cs]}}</ref>。再帰型ニューラルネットワークの代替として考案された<ref name=":2" />。

=== MLP-mixer ===
従来のニューラルネットワークとは異なり、本来ディープラーニングには使われないはずの純粋な多層パーセプトロンのみで構成された画像認識モデルである<ref>{{Cite journal|last=Tolstikhin|first=Ilya|last2=Houlsby|first2=Neil|last3=Kolesnikov|first3=Alexander|last4=Beyer|first4=Lucas|last5=Zhai|first5=Xiaohua|last6=Unterthiner|first6=Thomas|last7=Yung|first7=Jessica|last8=Steiner|first8=Andreas|last9=Keysers|first9=Daniel|date=2021-06-11|title=MLP-Mixer: An all-MLP Architecture for Vision|url=https://arxiv.org/abs/2105.01601|journal=arXiv:2105.01601 [cs]}}</ref>。画像を多数のパッチに分け、それらのパッチごとにパラメータ共有された層とパッチ間での変換を行う層を用意することで大幅な精度の向上がされている。欠点としては、固定されたサイズの画像しか入力が出来ない。

=== ボルツマンマシン ===
{{Main|ボルツマンマシン}}
統計的な変動をもちいた[[ホップフィールド・ネットワーク]]の一種。

==== 制限ボルツマンマシン ====
同一層間では接続を持たないボルツマンマシン。

=== 回帰型ニューラルネットワーク ===
{{main|回帰型ニューラルネットワーク}}
[[回帰型ニューラルネットワーク]]（Recurrent Neural Network：RNN）とは、有向[[閉路]]を持つニューラルネットワークのこと。それ以前の入力によって変化する[[状態]]を保持する（[[オートマトン]]）。動画像、音声、言語など、入力データの順序によって出力が変わる場合に有効である。また、順伝播型ニューラルネットワークでは、近似できるピーク数が中間層の素子数に依存するのに対して、回帰型ニューラルネットワークでは無限の周期性を持つ関数を近似することが可能である。

1980年代から研究が始まり、1982年に発表された[[ホップフィールド・ネットワーク]]が初期の研究。その後ElmanネットワークやJordanネットワークが発表され、1997年にS. HochreiterおよびJ. Schmidhuberらが[[LSTM]]ネットワーク（[[長・短期記憶]]、Long short-term memory）を発表した。

== 特有の問題 ==
=== 勾配消失問題 ===
{{Main|勾配消失問題}}
確率的勾配法は誤差から勾配を計算して中間層の重みを修正するが、[[シグモイド関数]]などは見てすぐにわかる通り、勾配が0に近い領域が存在する。偶然その領域に進むと勾配が0に近くなり、重みがほぼ修正されなくなる。多層NNでは一か所でも勾配が0に近い層が存在すると、それより下の層の勾配も全て0に近くなるため、確率的には層数が増えるほど学習が難しくなる。詳しくは[[バックプロパゲーション]]、[[活性化関数]]も参照のこと。

=== 過学習 ===
トレーニングデータでは高識別率を達成しながら、テストデータでは識別率が低い現象。[[過剰適合]]も参照のこと。
=== 局所最適解へのトラップ ===
学習が、大域的な最適解ではなく、局所的には適した解へと収束し、抜け出せなくなること。

== テクニック ==
{{出典の明記|date=2015年11月4日 (水) 16:28 (UTC)|section=1}}
=== データ拡張 ===
深層学習以外でも広く使われているが、入力データが画像など、どのようなテストデータが来るかあらかじめある程度の想定（モデル化）ができる場合は、たとえば画像の回転や引き延ばしを行うことで入力データ数を増やすことも昔から行われている。

=== 活性化関数 ===
ニューラルネットワークにおいては古くから[[シグモイド]]関数や <math>tanh</math> 関数がよく使われていたが、多層のニューラルネットでは層数の増加に伴って、最適なパラメータを決めるため用いる勾配を逆伝播法で求める際に、勾配消失といわれる問題が生じ易くなる困難があった。そこで近年では勾配消失を避けるために、ReLUなどの他の種類の関数が活性化関数として用いられるようになった。詳しくは[[活性化関数]]を参照。
==== ReLU ====
{{Main|正規化線形関数}}
[[正規化線形関数|ReLU]]（rectified linear unit [[ランプ関数]]とも呼ばれる。ランプは坂道の意味である）
:<math>f(x) = \max(0, x)</math>
出力が0.0 - 1.0の範囲に制限されないので勾配消失の問題が起きにくく、またシグモイド関数に比べて計算が簡単であるため学習が速く進む等のメリットがある<ref>岡谷貴之 深層学習 p11</ref>。

==== maxout ====
複数の次元の最大値を出力する関数。入力値のどれか一つでも大きい値を持っていれば良いので[[勾配消失問題]]が生じる確率が極めて低くなる。CNNのプーリングと同じ計算である。高性能と言われるが、性質上、次元が減少する。[[特徴選択]]も兼ねていると言える。

===ドロップアウト ===
[[ドロップアウト]]{{要曖昧さ回避|date=2023年5月}}はランダムに任意のニューロン（次元）を何割か無視してしまう技術である。入力データを増やせずとも、次元を減らすことで解の[[有意]]性を上げることができる。ドロップアウトして得た学習結果は、テスト時には同時に使用し、結果は平均して用いる。これは[[Random forest]]と同様、検出率の低い識別器でも並列化することで[[信頼度]]を上げることができるためである。

=== スパースコーディング ===
[[ラッソ回帰]]とも呼ばれる。辞書行列と係数行列の内積（[[線形結合]]）で入力データ(列ベクトル)を近似するとき、係数行列は[[疎行列]]（非零の要素が僅かしかない行列）になる。L1[[正則化]]のこと。
{{See also|正則化|逆問題|回帰モデル}}

=== バッチ正則化===
バッチ学習を行う際に、バッチ正則化層を設け、白色化 (入力データを平均 0、分散 1 に正則化) する。従来は、内部共変量シフト (internal covariance shift) を抑えることで、学習が効率的に進むとされていたが、現在では単に内部共変量シフトだけによるものではないと考えられている<ref>[https://arxiv.org/abs/1806.02375 {{Bracket|1806.02375}}バッチ正規化について]</ref><ref>[https://github.com/arXivTimes/arXivTimes/issues/942 Understanding Batch Normalization · Issue #942 · arXivTimes/arXivTimes · GitHub]</ref><ref>[https://jinbeizame.hateblo.jp/entry/understanding_batchnorm 論文紹介 Understanding Batch Normalization - じんべえざめのノート]</ref>。

=== 量子化 ===
深層学習における'''量子化'''（{{lang-en-short|quantization}}）は活性化値の連続-離散変換である。

情報科学一般における[[量子化]]と同様に、連続値を離散値へ変換・近似する。深層学習では[[誤差逆伝播法|誤差逆伝播]]に勾配連続性が必要であるため、中間層で量子化を採用するには何らかの工夫が必要である。また、大きな入力セットのサンプル値データを小さな出力セットのサンプル値データに変換することでもある<ref>{{Cite journal|last=Chang|first=Shih Yu|last2=Wu|first2=Hsiao-Chun|date=2022-08|title=Tensor Quantization: High-Dimensional Data Compression|url=https://ieeexplore.ieee.org/document/9687585/|journal=IEEE Transactions on Circuits and Systems for Video Technology|volume=32|issue=8|pages=5566–5580|doi=10.1109/TCSVT.2022.3145341|issn=1051-8215}}</ref>。

以下は勾配生成アルゴリズムの一例である：
{| class="wikitable"
|+表. 量子化勾配生成手法
!手法名
|-
|{{lang-en-short|straight-through estimator}}, STE
|-
|{{lang-en-short|Gumbel-Softmax}}
|}
以下は量子化を深層学習モデルへ組み込む技法の一例である：
{| class="wikitable"
|+表. 量子化手法
!手法名
!量子化単位
!勾配
!利用モデル名
!原論文
|-
|ベクトル量子化, VQ
{{lang-en-short|vector quantization}}
|[[ベクトル量子化|ベクトル]]
|STE<ref>"we approximate the gradient similar to the straight-through estimator" Oord, et al. (2017). ''Neural Discrete Representation Learning'' .NIPS2017.</ref>
|''VQ-VAE''
|<ref>Oord, et al. (2017). ''Neural Discrete Representation Learning'' .NIPS2017.</ref>
|-
|{{lang-en-short|product quantization}} <ref>"In this work, we propose differentiable product quantization" Chen, et. al. (2020). ''Differentiable Product Quantization for End-to-End Embedding Compression''. PMLR, pp.1617–1626.</ref>
|サブベクトル
|softmax or STE<ref>"The second instantiation of DPQ ... pass the gradient straight-through" Chen, et. al. (2020). ''Differentiable Product Quantization for End-to-End Embedding Compression''. PMLR, pp.1617–1626.</ref>
|
|<ref>Chen, et. al. (2020). ''Differentiable Product Quantization for End-to-End Embedding Compression''. PMLR, pp.1617–1626.</ref>
|-
|{{lang-en-short|residual vector quantization}}, RVQ
|[[ベクトル量子化|ベクトル]]
|
|''SoundStream''
|
|-
|{{lang-en-short|finite scalar quantization}}, FSQ <ref>"Each (scalar) entry in the representation z is independently quantized to the nearest integer by rounding ... bounding the range of the quantizer ... We call this approach finite scalar quantization (FSQ)" Mentzer, et. al. (2023). ''Finite Scalar Quantization: VQ-VAE Made Simple''.</ref>
|スカラー
|STE<ref>"To get gradients through the rounding operation, we use the STE" Mentzer, et. al. (2023). ''Finite Scalar Quantization: VQ-VAE Made Simple''.</ref>
|
|<ref>Mentzer, et. al. (2023). ''Finite Scalar Quantization: VQ-VAE Made Simple''.</ref>
|}

=== ミニバッチ法 ===
{{Empty section|date=2019年7月}}

=== 蒸留 ===
{{Empty section|date=2019年7月}}

=== 事前学習 (Pre-training) ===
{{Empty section|date=2019年7月}}

=== AdaGrad ===
{{main|確率的勾配降下法#AdaGrad}}
{{Empty section|date=2019年7月}}

=== Adam ===
{{main|確率的勾配降下法#Adam}}
{{Empty section|date=2019年7月}}

== ライブラリ ==
{{雑多な内容の箇条書き|section=1|date=2019年1月}}<!-- WARN: せめて要約を付けるべき。 -->
* [[Caffe]] - [[Python]], [[C++]]
* [[torch]] - [[Lua]]
* [[Theano]] - Python。関数型言語。並列化に特化し、GPUのコードが自動的に生成される。
* Pylearn2 - Python
* Blocks - Python
* [[Keras]] - Python。TensorFlowのラッパー。Theanoでも動作可能。
* Lasagne - Python
* deepy - Python
* cuDNN - [[NVIDIA]]が提供する[[CUDA]]ベース (GPUベース) のDNN用プリミティブライブラリ。
* [[Deeplearning4j]] - [[Java]]、[[Scala]]が使用されている。
* EBlearn - C++で書かれているCNN用ライブラリ。
* cuda-convnet - C++/CUDA実装のCNN。基本的な機能はEBlearnと同じ。
* [[Chainer]] - Python
* [[TensorFlow]] - Python, C++
* ReNom - Python
* [[PyTorch]]
* [[Microsoft Cognitive Toolkit]] - Python, C++, C#。以前はCNTKと呼ばれていた。
* [[DyNet]] - Python, C++

== 脚注 ==
{{脚注ヘルプ}}
=== 注釈 ===
{{Notelist}}
=== 出典 ===
{{Reflist|2}}

== 参考文献 ==
{{脚注の不足|section=1|date=2023年5月28日 (日) 16:27 (UTC)}}
* {{Cite book|和書
|author = [[小林雅一]]
|title = AIの衝撃 人工知能は人類の敵か
|date = 2015-3-20
|edition = 第1刷
|publisher = 講談社
|isbn = 978-4-06-288307-8
|series = 講談社現代新書
|ref = harv }}
* {{Cite book|和書
|author = [[小林雅一]]
|title = クラウドからAIへ アップル、グーグル、フェイスブックの次なる主戦場
|date = 2013-7-30
|edition = 第1刷
|publisher = 朝日新聞出版
|isbn = 978-4-02-273515-7
|series = 朝日新書
|ref = harv }}
* {{Cite book|和書
|author = [[松尾豊]]
|title = 人工知能は人間を超えるか ディープラーニングの先にあるもの
|date = 2015-3-11
|edition = 第1刷
|publisher = KADOKAWA
|isbn = 978-4040800202
|series = 角川EPUB選書
|ref = harv }}
* 園田翔：「深層ニューラルネットの積分表現理論」、早稲田大学博士論文（2017）。
* [http://www.airc.aist.go.jp/seminar_detail/docs/seminar02-sonoda.pdf 園田翔：「ニューラルネットの積分表現理論」]

== 教科書 ==
* 岡谷貴之：「深層学習」(初版)、講談社サイエンティフィク、ISBN 978-4-06-152902-1 (2015年4月7日).　※ 改訂第2版が2022年に。
* 人工知能学会 (監修)：「深層学習」、近代科学社、ISBN 978-4-7649-0487-3 (2015年10月31日).
* 瀧雅人：「これならわかる深層学習 入門」、講談社サイエンティフィク、ISBN 978-4-06-153828-3 (2017年10月20日).
* 田中章詞、冨谷昭夫、橋本幸士：「ディープラーニングと物理学：原理がわかる、応用ができる」、講談社サイエンティフィク、ISBN 978-4-06-516262-0 (2019年6月20日).
* 岡谷貴之：「深層学習」(改訂第2版)、講談社サイエンティフィク、ISBN 978-4-06-513332-3 (2022年1月17日).　※初版に比べて大幅に分量が増加。
* 岡野原大輔：「ディープラーニングを支える技術：「正解」を導くメカニズム[技術基礎]」、技術評論社、ISBN 978-4-297-12560-8 (2022年1月21日).
* 岡野原大輔：「ディープラーニングを支える技術2：ニューラルネットワーク最大の謎」、技術評論社、ISBN 978-4-297-12811-1 (2022年5月4日).
* 柳井啓司、中鹿亘、稲葉道将：「深層学習」、オーム社、ISBN 978-4-274-22888-9 (2022年11月20日).
* 甘利俊一：「深層学習と統計神経力学」、サイエンス社（SGCライブラリ185）、ISBN 978-4-7819-1574-6 (2023年6月25日).
* 和田山正：「モデルベースと深層学習と深層展開」、森北出版、ISBN 978-4-627-85731-5 (2023年6月26日).
* 小池敦：「図解 深層学習」、近代科学社、ISBN 978-4-7649-0675-4 (2023年12月31日).
* 岡留剛：「深層学習 生成AIの基礎」、共立出版、ISBN 978-4-320-12575-9 (2024年3月30日).
* 李銀星、山田和範：「ニューラルネットワーク入門」、共立出版、ISBN 978-4-320-12522-3 (2024年6月5日).
* Christopher M. Bishop and Hugh Bishop: ''Deep Learning：Foundations and Concepts'', Springer, ISBN 978-3-031-45468-4 (2024).

=== 主にライブラリやフレームワークの利用法の解説書 ===
* 浅川伸一：「Pythonで体験する 深層学習：Caffe, Theano, Chainer, Tensorflow」、コロナ社、ISBN 978-4-339-02851-5 (2016年8月18日).
* 中井悦司：「Tensorflowで学ぶディープラーニング入門」、マイナビ出版、ISBN 978-4-8399-6088-9 (2016年9月27日).
* 巣籠悠輔：「詳解ディープラーニング：TensorFlow・Kerasによる時系列データ処理」(初版)、マイナビ出版、ISBN 978-4-8399-6251-7 (2017年5月25日).　※第2版が2019年に
* 石川聡彦：「Pythonで動かして学ぶ！ あたらしい深層学習の教科書：機械学習の基本から深層学習まで」、翔泳社、ISBN 978-4-7981-5857-0 (2018年10月22日).
* 木村優志：「現場で使える！ Python深層学習入門：Pythonの基本から深層学習の実践手法まで」、翔泳社、ISBN 978-4-7981-5097-0 (2019年6月20日).
* 小川雄太郎：「つくりながら学ぶ！ PyTorchによる発展ディープラーニング」、マイナビ出版、ISBN 978-4-8399-7025-3 (2019年7月25日).
* 青野雅樹：「Kerasによるディープラーニング」、森北出版、ISBN 978-4-627-85481-9 (2019年10月25日).
* 巣籠悠輔：「詳解ディープラーニング 第2版：TensorFlow/Keras・PyTorchによる時系列データ処理」、マイナビ出版、ISBN 978-4-8399-6951-6 (2019年11月27日).
* Sebastian Raschka、Vahid Mirjalili：「[第3版] Python 機械学習プログラミング：達人データサイエンティストによる理論と実践」、インプレス、ISBN 978-4-295-01007-4 (2020年10月21日).
* 齋藤勇哉：「動かしながら学ぶ PyTorchプログラミング入門」、オーム社、ISBN 978-4-274-22640-3 (2020年11月19日).
* クジラ飛行机、杉山陽一、遠藤俊輔：「すぐに使える！業務で実践できる！　PythonによるAI・機械学習・深層学習アプリのつくり方：TensorFlow2対応」、ソシム、ISBN 978-4-8026-1279-1 (2020年11月13日).
* Eli Stevens、Luca Antiga、Thomas Viehmann：「PyTorch実践入門：デープラーニングの基礎から実装へ」、マイナビ出版、ISBN 978-4-8399-7469-5 (2021年1月28日).
* 赤石雅典：「最短コースでわかる　PyTorch ＆ 深層学習プログラミング」、日経BP、ISBN 978-4-296-11032-2 (2021年9月21日).
* Laurence Moroney、菊池彰(訳): 「動かして学ぶ　AI・機械学習の基礎：TensorFlowによるコンピュータビジョン、自然言語処理、時系列データの予測とデプロイ」、オーム社、ISBN 978-4-87311-980-9 (2022年6月1日).
* Jon Krohn：「Python，TensorFlowで実践する　深層学習入門：しくみの理解と応用」、東京化学同人、ISBN 978-4-8079-2038-9 (2022年9月13日).
* Sebastian Raschka、Yuxi (Hayden) Liu、Vahid Mirjalili：「Python 機械学習プログラミング[PyTorch ＆ scikit-learn編]」、インプレス、ISBN 978-4-295-01558-1 (2022年12月21日).
* John P. Mueller、Luca Massaron：「ミュラー Pythonで学ぶ深層学習」、東京化学同人、ISBN 978-4-8079-2030-3 (2023年3月3日).
* Marco Peixeiro: 「Pythonによる時系列予測」、マイナビ出版、ISBN 978-4-8399-8296-6 (初版、2023年10月25日).

== 関連項目 ==
{{div col}}
* [[ニューラルネットワーク]]
* [[機械学習]]
* [[音声認識]]
* [[コンピュータビジョン|画像認識]]
* [[顔認識]]
* [[自然言語処理]]
* [[創薬|毒性学]]
* [[顧客関係管理]]
* [[レコメンダシステム]]
* [[バイオインフォマティックス]]
* [[医療画像分析]] ([[:en:Medical image analysis]])
* [[モバイル広告]] ([[:en:Mobile advertising]])
* [[画像復元]] ([[:en:Image restoration]])
{{div col end}}

== 外部リンク ==
* {{コトバンク}}
* [https://www.jdla.org/ 一般社団法人日本ディープラーニング協会] 知識に対する検定試験を実施しているなど。

{{デフォルトソート:ていいふらあにんく}}
[[Category:人工ニューラルネットワーク]]
[[Category:機械学習]]
[[Category:ディープラーニング|*]]