視覚と自然言語の融合研究のソースを表示

[[File:Vizwiz-vqa.png|thumb|300px|VQAの問題の例。]]

'''視覚と自然言語の融合研究'''{{Efn|日本語での表記は複数存在し、「視覚と自然言語の融合研究」<ref name=":0" />、「視覚と言語の融合研究」<ref>{{Cite web|和書|title=NL研・CVIM研・PRMU研の合同研究会：第248回自然言語処理研究会 発表募集 |url=https://nl-ipsj.or.jp/2021/02/09/nl248-cfp/ |website=情報処理学会 自然言語処理研究会 (NL) |date=2021-02-09 |accessdate=2022-03-24 |language=ja }}</ref><ref>{{Cite web|和書|title=【第48回AIセミナー】「マルチモーダル情報の統合理解の最前線」|url=https://www.airc.aist.go.jp/seminar_detail/seminar_048.html |publisher=人工知能研究センター |accessdate=2022-03-24}}</ref>、「画像と自然言語処理の融合研究」<ref name="ipa2017" />、「CVとNLPの融合研究」<ref name="ipsj-247nl" />などの他に"Vision and Language"と英語のままで呼ばれることもある<ref>{{Cite book2|title=コンピュータビジョン最前線　Winter 2021|year=2021|publisher=共立出版|page=78|editor2-first=祥孝|editor-last=井尻|editor-first=善久|editor2-last=牛久|editor3-first=裕雄|editor3-last=片岡|editor4-first=弘亘|editor4-last=藤吉}}</ref><ref>{{Cite journal|last=品川|first=政太朗|date=2021-05-13|title=Vision and Languageと分野を取り巻く深層学習手法の紹介|url=http://id.nii.ac.jp/1001/00211056/ |journal=研究報告コンピュータビジョンとイメージメディア（CVIM）|volume=2021-CVIM-226|issue=15|pages=1–1|language=ja|issn=2188-8701}}</ref>。}}（{{Lang-en|Vision and Language}}{{Efn|"Vision and Language"<ref>{{Cite web |title=Workshop on Vision and Language - ACL Anthology |url=https://aclanthology.org/venues/vl/ |website=ACL Anthology |accessdate=2022-03-24 |publisher=ACL}}</ref>{{Sfn|Mogadala|Kalimuthu|Klakow|2021}}<ref name="vqa-paper">{{Cite journal|last=Antol|first=Stanislaw|last2=Agrawal|first2=Aishwarya|last3=Lu|first3=Jiasen|last4=Mitchell|first4=Margaret|last5=Batra|first5=Dhruv|last6=Lawrence Zitnick|first6=C.|last7=Parikh|first7=Devi|date=2015|title=VQA: Visual Question Answering|url=https://www.cv-foundation.org/openaccess/content_iccv_2015/html/Antol_VQA_Visual_Question_ICCV_2015_paper.html|journal=Proceedings of the IEEE International Conference on Computer Vision (ICCV)|pages=2425–2433}}</ref>の他に"Language and Vision"<ref>{{Cite web |title=CVPR 2015 Language and Vision Workshop {{!}} The Center for Brains, Minds & Machines |url=https://cbmm.mit.edu/knowledge-transfer/workshops/cvpr-2015-language-and-vision-workshop |website= |accessdate=2022-03-24 |publisher=Center for Brain, Minds & Machines}}</ref>など表記に揺らぎはある。}}）とは、[[コンピュータビジョン]]と[[自然言語処理]]を融合した研究分野である{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1183}}<ref name="ipsj-247nl">{{Cite web|和書|title=第247回NL研究発表会-情報処理学会 |url=https://www.ipsj.or.jp/kenkyukai/event/nl247.html |website=www.ipsj.or.jp |accessdate=2022-03-24 |language=ja |last=一般社団法人情報処理学会}}</ref>。画像や動画からのキャプション生成{{Refnest|<ref name=":0" /><ref name="ipa2017" />{{Sfn|Ferraro|2015|p=210}}}}、画像や動画を対象とした質問応答（VQA）{{Refnest|<ref name=":0" /><ref name="vqa-paper" />{{Sfn|Ferraro|2015|p=210}}}}などのタスクが含まれる。

1960年代から{{仮リンク|ヒューマン・ロボット・コラボレーション|en|Human-robot collaboration}}の分野を中心に初期の研究が始められており{{Sfn|Ferraro|2015|p=207}}<ref name=":4" />、1990年代ごろから画像検索{{Sfn|Kafle|2019|loc=2.1. Tasks in V&L Research}}、2000年代から画像キャプション生成{{Sfn|Wang|2021|p=2}}の研究も始められた。2010年代に[[ディープラーニング|深層学習]]の適用によって[[コンピュータビジョン]]と[[自然言語処理]]が大きく発展したことに伴い、融合研究も発展を遂げている{{Sfn|Ferraro|2015|p=207}}{{Sfn|Kafle|2019|loc=1. Introduction}}。多くの研究が行われている一方で、データセットバイアスなどの研究課題も残されている{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}{{Sfn|Kafle|2019|loc=3.2. Evaluation Metrics}}。

== 背景 ==

視覚と自然言語の融合研究は、[[コンピュータビジョン]]と[[自然言語処理]]を融合した研究分野である{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1183}}<ref name="ipsj-247nl" />。2つの分野は独立して研究されてきたが、視覚と自然言語を組み合わせることにより、[[ヒューマンコンピュータインタラクション]]{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1184}}{{Sfn|Kafle|2019|loc=1. Introduction}}、[[視覚障害者]]の支援{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1184}}{{Sfn|Kafle|2019|loc=1. Introduction}}<ref name="2019-06-intersection-vision-language">{{Cite web |title=The intersection of vision and language |url=https://phys.org/news/2019-06-intersection-vision-language.html |website=phys.org |accessdate=2022-04-09 |language=en |first=Sonia |last=Fern}}</ref>、{{仮リンク|ヒューマン・ロボット・コラボレーション|en|Human-robot collaboration}}{{Sfn|Kafle|2019|loc=1. Introduction}}<ref name="2019-06-intersection-vision-language" />、[[自動運転車|自動運転]]{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1184}}、ナビゲーション{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1184}}、画像検索{{Sfn|Kafle|2019|loc=1. Introduction}}といった分野への応用が期待されることもあり、融合研究が注目されるようになった{{Sfn|Mogadala|Kalimuthu|Klakow|2021|pp=1183-1184}}{{Sfn|Kafle|2019|loc=1. Introduction}}。

=== コンピュータビジョン ===
{{Main|コンピュータビジョン}}
コンピュータビジョンは、[[コンピュータ]]に[[画像]]や[[動画]]の内容を理解させる分野である{{Sfn|Sonka|2008|p=1}}<ref>{{Cite journal|last=Huang|first=T|date=1996|title=Computer Vision: Evolution And Promise|url=http://cds.cern.ch/record/400313|language=en|doi=10.5170/CERN-1996-008.21}}</ref><ref>{{Cite web|和書|title=コンピューター ビジョンとは {{!}} Microsoft Azure |url=https://azure.microsoft.com/ja-jp/overview/what-is-computer-vision/ |accessdate=2022-04-08 |language=ja |publisher=Microsoft}}</ref>。主なタスクとしては画像[[分類 (統計学)|分類]]{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1185}}や[[物体検出]]{{Sfn|Sonka|2008|p=385}}{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1185}}などが含まれる。[[敵対的生成ネットワーク]]（GAN）などによる画像生成が含まれる場合もある<ref>{{Cite journal|last=Cao|first=Yang-Jie|last2=Jia|first2=Li-Li|last3=Chen|first3=Yong-Xia|last4=Lin|first4=Nan|last5=Yang|first5=Cong|last6=Zhang|first6=Bo|last7=Liu|first7=Zhi|last8=Li|first8=Xue-Xiang|last9=Dai|first9=Hong-Hua|date=2019|title=Recent Advances of Generative Adversarial Networks in Computer Vision|url=https://ieeexplore.ieee.org/document/8576508/|journal=IEEE Access|volume=7|pages=14985–15006|doi=10.1109/ACCESS.2018.2886814|issn=2169-3536}}</ref><ref>{{Cite journal|last=Wang|first=Zhengwei|last2=She|first2=Qi|last3=Ward|first3=Tomás E.|date=2022-03-31|title=Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy|url=https://dl.acm.org/doi/10.1145/3439723|journal=ACM Computing Surveys|volume=54|issue=2|pages=1–38|language=en|doi=10.1145/3439723|issn=0360-0300}}</ref>。

=== 自然言語処理 ===
{{Main|自然言語処理}}
自然言語処理は、人間が使用する言語（[[自然言語]]）をコンピュータに処理させる分野である{{Sfn|Jurafsky|2009|p=1}}{{Sfn|Eisenstein|2019|p=1}}。主なタスクとしては[[情報検索]]{{Sfn|Jurafsky|2009|p=737}}{{Sfn|Eisenstein|2019|p=424}}、[[質問応答システム|質問応答]]{{Sfn|Jurafsky|2009|p=1}}{{Sfn|Eisenstein|2019|p=424}}、[[機械翻訳]]{{Sfn|Jurafsky|2009|p=1}}{{Sfn|Eisenstein|2019|p=431}}などが含まれる。

== 主な研究分野 ==
視覚と自然言語の融合研究として以下のような分野が研究されている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}{{Sfn|Kafle|2019|loc=2.1. Tasks in V&L Research}}<ref name=":0">{{Cite web|和書|title=【記事更新】私のブックマーク「視覚と自然言語の融合研究（Integrating Vision and Language）」 – 人工知能学会 (The Japanese Society for Artificial Intelligence) |url=https://www.ai-gakkai.or.jp/resource/my-bookmark/my-bookmark_vol32-no1/ |accessdate=2022-03-24 |language=ja |publisher=人工知能学会 |author=牛久祥孝}}</ref><ref name="ipa2017">{{Cite web|和書|title=AI白書2017：IPA 独立行政法人 情報処理推進機構 |url=https://www.ipa.go.jp/about/report/ai/201707.html |accessdate=2022-03-24 |publisher=情報処理推進機構 |page=42}}</ref>。

=== 自然言語処理のタスクの拡張 ===

[[File:Vizwiz-captions.png|thumb|450px|画像キャプション生成のデータセットの例。]]
; 画像・動画の説明生成: 画像や動画に対する説明を生成するタスクである{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}{{Efn|自然言語処理分野において、与えられた文章の次の文章を生成する「条件付き言語生成」は広く研究されているが、これを拡張した、与えられた画像や動画に対して「条件付き言語生成」をするというタスクとして捉えることもできる{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。}}。この融合分野の代表的なタスクとされる{{Sfn|Baltrušaitis|2019|p=424}}画像キャプション生成も含まれる{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1190}}。
: 画像キャプション生成の研究は2000年代から行われており{{Sfn|Wang|2021|p=2}}、[[検索エンジン]]や[[ソーシャルメディア]]などで画像の説明を生成するために利用されている{{Sfn|Hossain|2019|p=1}}。

; 画像・動画への質問応答（Visual Question Answering、VQA)
: 自然言語処理における[[質問応答システム|質問応答]]は、人間の質問に対して回答するタスクである{{Sfn|Jurafsky|2009|p=779}}。質問応答では、質問に回答するにあたって必要な情報を得るために、なんらかの文書を参照する場合もある{{Sfn|Jurafsky|2009|p=780}}。質問応答が自然言語のみを使用するのに対して、VQAは質問応答タスクを拡張した、画像や動画に関する質問に答えるタスクである{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。
: 未知の物体にも対応するようなVQAは2014年に研究が始められた{{Sfn|Wu|2017|p=3}}。

;画像検索（Image Retrieval）
: 多数の画像の中から、画像を検索するタスクである<ref name=":9" />。キーワードや文章などの自然言語をクエリとして使用するタスク、画像をクエリとして類似している画像を検索するタスク、手書きの絵をクエリとするタスクなどが研究されている{{Sfn|Datta|2008|pp=11-12}}{{Sfn|Latif|2019|p=3}}。
: 従来は画像に人間がつけたキャプションなどを利用して検索を行っていたが、1990年代から画像に含まれる視覚情報も用いて検索を行う研究が行われるようになった{{Sfn|Datta|2008|p=4}}<ref name=":9" />。[[検索エンジン]]でも使用されている<ref>{{Cite web |title=AI in Search Engines: Everything You Need to Know |url=https://www.marketingaiinstitute.com/blog/how-search-engines-use-artificial-intelligence |website=Marketing AI Institute |accessdate=2022-04-09 |language=en |first=Mike |last=Kaput}}</ref><ref>{{Cite web |title=Google Search By Image: Use A Snapshot As Your Search Query |url=https://social.techcrunch.com/2011/06/14/google-search-by-image-use-a-snapshot-as-your-search-query/ |website=TechCrunch |accessdate=2022-04-09 |language=en-US}}</ref>。

[[File:Visual-Dialog.png|thumb|450px|Visual Dialogの説明。「それは何色ですか」（What color is it?）という質問に対して、対話の履歴から犬の色を聞かれていることを理解する必要がある。]]
;画像・動画に関する対話（Visual Dialog）
: 画像や動画に含まれる情報に対して、自然言語を用いて対話を行うタスクである{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。例えば、人間が対話システムに画像の内容に関する複数の質問を問いかけるという対話において、対話システムは過去の対話内容も考慮して回答する必要がある{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1246}}。
: Visual Dialogは2017年に提案されて研究が始まった<ref name=":6">{{Cite journal|last=Das|first=Abhishek|last2=Kottur|first2=Satwik|last3=Gupta|first3=Khushi|last4=Singh|first4=Avi|last5=Yadav|first5=Deshraj|last6=Moura|first6=Jose M. F.|last7=Parikh|first7=Devi|last8=Batra|first8=Dhruv|date=2017|title=Visual Dialog|url=https://openaccess.thecvf.com/content_cvpr_2017/html/Das_Visual_Dialog_CVPR_2017_paper.html|pages=326–335}}</ref>。

; 画像の参照表現（Visual Referring Expression）の理解・生成
: 参照表現（Referring Expression）とは「左の三つの玉のうちの一番右の玉」のように複数の物体の中から特定の物体を識別するための言語表現である<ref>{{Cite journal|和書|last=船越|first=孝太郎|last2=渡辺|first2=聖|last3=栗山|first3=直子|last4=徳永|first4=健伸|date=2006|title=知覚的群化に基づく参照表現の生成|url=https://doi.org/10.5715/jnlp.13.2_79|journal=自然言語処理|volume=13|issue=2|pages=79–97|doi=10.5715/jnlp.13.2_79}}</ref>。視覚との融合分野では、自然言語で与えられた参照表現に対応する物体を画像中で示したり、画像中の物体に対応する参照表現を生成するタスクが研究されている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1216}}。
: 参照表現生成の研究は自然言語処理の分野で1970年代から行われているが<ref>{{Cite journal|last=Kazemzadeh|first=Sahar|last2=Ordonez|first2=Vicente|last3=Matten|first3=Mark|last4=Berg|first4=Tamara|date=2014-10|title=ReferItGame: Referring to Objects in Photographs of Natural Scenes|url=https://aclanthology.org/D14-1086|journal=Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)|pages=787–798|publisher=Association for Computational Linguistics|location=Doha, Qatar|doi=10.3115/v1/D14-1086}}</ref>、2010年代まで画像などに含まれる視覚情報を直接使うような手法はほとんど研究されていなかった{{Sfn|Krahmer|2012|p=207}}<ref name=":13">{{Cite journal|last=Mao|first=Junhua|last2=Huang|first2=Jonathan|last3=Toshev|first3=Alexander|last4=Camburu|first4=Oana|last5=Yuille|first5=Alan|last6=Murphy|first6=Kevin|date=2016-06|title=Generation and Comprehension of Unambiguous Object Descriptions|url=http://ieeexplore.ieee.org/document/7780378/|journal=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|pages=11–20|publisher=IEEE|location=Las Vegas, NV, USA|doi=10.1109/CVPR.2016.9|isbn=978-1-4673-8851-1}}</ref>。深層学習を用いた画像の参照表現の理解と生成の最初の研究は2016年に発表され{{Sfn|Qiao|2021|p=4427}}、画像から直接の参照表現の理解・生成を行う研究が始まった<ref name=":13" />。

;画像の含意関係認識（Visual Entailment）
: 自然言語処理において、含意関係認識という「ある文章が正しければもう一方の文章も正しいと言えるか」を判別するタスクがある{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。例えば「[[川端康成]]は「[[雪国 (小説)|雪国]]」などの作品で[[ノーベル文学賞]]を受賞した」という文章が正しいときは「川端康成は「雪国」の作者である」も正しいという関係を判別することが求められる<ref>{{Cite journal|last=寺中|first=元希|last2=斎藤|first2=博昭|year=2015|title=含意関係認識におけるベクトル空間モデルの適用|journal=自然言語処理学会|volume=21|page=924}}</ref>。視覚との融合分野では、画像に示された状況が正しいときに与えられた文章が正しいと言えるかを判別するタスクが提案されている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。
: 2018年にVisual Entailmentのタスクを提案する研究が発表された{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1241}}。

;マルチモーダル機械翻訳
: [[機械翻訳]]タスクを拡張して、元の言語の文章に加えて、文章に対応した画像や動画が与えられた状況で翻訳を行うというタスクである{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。
: 2016年にタスクが提案された<ref name=":14">{{Cite journal|last=Specia|first=Lucia|last2=Frank|first2=Stella|last3=Sima'an|first3=Khalil|last4=Elliott|first4=Desmond|date=2016-08|title=A Shared Task on Multimodal Machine Translation and Crosslingual Image Description|url=https://aclanthology.org/W16-2346|journal=Proceedings of the First Conference on Machine Translation: Volume 2, Shared Task Papers|pages=543–553|publisher=Association for Computational Linguistics|location=Berlin, Germany|doi=10.18653/v1/W16-2346}}</ref>。

=== コンピュータビジョンのタスクの拡張 ===

{{Annotated image
| image = CLEVR1080.png
| image-width = 250
| image-left = 100
| width = 450
| annotations =
| caption = Visual ReasoningのデータセットであるCLEVR<ref>{{Cite web |title=CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning |url=https://cs.stanford.edu/people/jcjohns/clevr/ |website=cs.stanford.edu |accessdate=2022-03-25}}</ref>の画像の例。質問の例として「小さい円柱は金属製の物体より多いですか？」などが想定される（回答は「いいえ」）<ref>{{Citation|title=CLEVR Dataset Generation|date=2022-03-16|url=https://github.com/facebookresearch/clevr-dataset-gen|publisher=Meta Research|website=GitHub|accessdate=2022-03-25}}</ref>。
}}

; 文章に対する画像生成
: 与えられた文章に対応した画像を生成するタスクである{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}{{Efn|コンピュータビジョンで画像に対する画像の生成（白黒写真からカラー写真の生成など<ref>{{Cite journal|last=Isola|first=Phillip|last2=Zhu|first2=Jun-Yan|last3=Zhou|first3=Tinghui|last4=Efros|first4=Alexei A.|date=2017-07|title=Image-to-Image Translation with Conditional Adversarial Networks|url=https://ieeexplore.ieee.org/document/8100115|journal=2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|pages=5967–5976|doi=10.1109/CVPR.2017.632}}</ref>）などが研究されているが、これを自然言語との融合分野に拡張したタスクとして捉えることもできる{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。}}。
: [[敵対的生成ネットワーク]]（GAN）の登場に伴い、2016年に文章から画像を生成する最初の研究が発表された{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1258}}。

; Visual Reasoning
: 画像分類や[[物体検出]]を拡張したタスクであり{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}、画像や動画に含まれる視覚情報を理解するタスクである{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1232}}。一例として、画像に含まれる複数の物体同士の関係性などを理解するタスクなどが含まれる<ref name=":2">{{Cite journal|last=Bakhtin|first=Anton|last2=van der Maaten|first2=Laurens|last3=Johnson|first3=Justin|last4=Gustafson|first4=Laura|last5=Girshick|first5=Ross|date=2019|title=PHYRE: A New Benchmark for Physical Reasoning|url=https://proceedings.neurips.cc/paper/2019/hash/4191ef5f6c1576762869ac49281130c9-Abstract.html|journal=Advances in Neural Information Processing Systems|volume=32|publisher=Curran Associates, Inc.}}</ref><ref name=":10">{{Cite journal|last=Johnson|first=Justin|last2=Hariharan|first2=Bharath|last3=Van Der Maaten|first3=Laurens|last4=Hoffman|first4=Judy|last5=Fei-Fei|first5=Li|last6=Zitnick|first6=C. Lawrence|last7=Girshick|first7=Ross|date=2017-10|title=Inferring and Executing Programs for Visual Reasoning|url=https://ieeexplore.ieee.org/document/8237587|journal=2017 IEEE International Conference on Computer Vision (ICCV)|pages=3008–3017|doi=10.1109/ICCV.2017.325}}</ref>。Visual Reasoningは視覚情報に対する質問に回答するための過程として定義されることもある{{Sfn|He|2021|p=2}}。すなわち、VQAやVisual Dialogのモデルは（明示的に設計されていなくても）Visual Reasoningを行なっていることになる{{Sfn|He|2021|p=2}}。Visual Reasoningの手法を評価するために、VQAを用いることも一般的である<ref name=":10" />。
: 初期の研究は1960年代から行われている<ref name=":2" />。

=== 自然言語処理とコンピュータビジョンのタスクの拡張 ===

[[File:Room-to-room.jpg|thumb|450px|視覚と言語を用いたナビゲーションの例。]]

; 視覚と言語を用いたナビゲーション
: ナビゲーションはロボットなどに対して目的地までの道順を案内するタスクであり<ref>{{Cite journal|last=Zieliński|first=P.|last2=Markowska-Kaczmar|first2=U.|date=2021-10-01|title=3D robotic navigation using a vision-based deep reinforcement learning model|url=https://www.sciencedirect.com/science/article/pii/S1568494621005238|journal=Applied Soft Computing|volume=110|pages=107602|language=en|doi=10.1016/j.asoc.2021.107602|issn=1568-4946}}</ref>、視覚情報もしくは自然言語のみでのナビゲーションが研究されてきた{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。これらを拡張して、視覚と自然言語の両方の情報を使用するタスクが融合分野として研究されている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}。
: 視覚と自然言語の両方の情報を用いるナビゲーションとしては、最初のデータセットが2017年に発表されている<ref name=":12">{{Cite journal|last=Anderson|first=Peter|last2=Wu|first2=Qi|last3=Teney|first3=Damien|last4=Bruce|first4=Jake|last5=Johnson|first5=Mark|last6=Sunderhauf|first6=Niko|last7=Reid|first7=Ian|last8=Gould|first8=Stephen|last9=van den Hengel|first9=Anton|date=2018-06|title=Vision-and-Language Navigation: Interpreting Visually-Grounded Navigation Instructions in Real Environments|url=https://ieeexplore.ieee.org/document/8578485/|journal=2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition|pages=3674–3683|publisher=IEEE|location=Salt Lake City, UT|doi=10.1109/CVPR.2018.00387|isbn=978-1-5386-6420-9}}</ref>。

{{clear}}

== 歴史 ==

=== 黎明期（1960年代以降） ===
1968年から始められた[[SHRDLU]]というプロジェクトが、視覚と自然言語の融合における最初期の研究のひとつとされている{{Sfn|Ferraro|2015|p=207}}<ref name=":4">{{Cite web |url=http://hci.stanford.edu/~winograd/shrdlu/ |title=SHRDLU |accessdate=2022-03-24 |author=Terry Winograd}}</ref>。[[SHRDLU]]は人間が自然言語で指示をすることで、コンピュータ内の仮想空間の[[積木|積み木]]を操作できる[[プログラム (コンピュータ)|コンピュータプログラム]]である<ref name=":4" />。これ以降の視覚と自然言語の融合研究では、[[ロボット]]を自然言語による対話で操作するという分野が多く研究されてきた{{Sfn|Ferraro|2015|p=207}}。

=== 深層学習以前（1990年代〜2000年代） ===
 

画像検索も視覚と自然言語の融合研究における最初期のタスクのひとつである{{Sfn|Kafle|2019|loc=2.1. Tasks in V&L Research}}。従来は画像に人間がつけたキャプションを利用していたが、1990年代から画像の視覚情報も用いて検索を行う研究が行われるようになった<ref name=":9">{{Cite journal|last=Mezaris|first=V.|last2=Kompatsiaris|first2=I.|last3=Strintzis|first3=M.G.|date=2003-09|title=An ontology approach to object-based image retrieval|url=https://ieeexplore.ieee.org/document/1246729|journal=Proceedings 2003 International Conference on Image Processing (Cat. No.03CH37429)|volume=2|pages=II–511|doi=10.1109/ICIP.2003.1246729}}</ref>{{Sfn|Datta|2008|p=5}}。

画像キャプション生成は2000年代ごろから研究が行われており、主にテンプレートを用いた手法が提案されていた{{Sfn|Wang|2021|p=2}}。テンプレートを用いて文章を生成するために{{仮リンク|SIFT特徴量|en|Scale-invariant feature transform|label=SIFT}}や{{仮リンク|HOG特徴量|en|Histogram of oriented gradients|label=HOG}}などの局所画像特徴量<ref name=":15">{{Cite journal|author=庄野逸|year=2013|title=局所画像特徴量 ～ SIFT, HOG を題材に～|url=https://www.ite.or.jp/contents/keywords/FILE-20160413114344.pdf|journal=映像情報メディア学会誌|volume=67|issue=3|page=256～258}}</ref>に対して[[サポートベクターマシン]]（SVM）などの[[分類 (統計学)|分類器]]を適用するなどの手法が提案された<ref name=":19">{{Cite journal|last=Farhadi|first=Ali|last2=Hejrati|first2=Mohsen|last3=Sadeghi|first3=Mohammad Amin|last4=Young|first4=Peter|last5=Rashtchian|first5=Cyrus|last6=Hockenmaier|first6=Julia|last7=Forsyth|first7=David|editor-last=Daniilidis|editor-first=Kostas|editor2-last=Maragos|editor2-first=Petros|editor3-last=Paragios|editor3-first=Nikos|date=2010|title=Every Picture Tells a Story: Generating Sentences from Images|url=https://link.springer.com/chapter/10.1007/978-3-642-15561-1_2|journal=Computer Vision – ECCV 2010|pages=15–29|publisher=Springer|location=Berlin, Heidelberg|language=en|doi=10.1007/978-3-642-15561-1_2|isbn=978-3-642-15561-1}}</ref>{{Sfn|Hossain|2019|p=2}}。

=== 深層学習の適用（2010年代以降） ===
2010年代の[[ディープラーニング|深層学習]]の適用によって、画像と自然言語処理の融合分野も大きな発展を遂げた{{Sfn|Ferraro|2015|p=207}}{{Sfn|Kafle|2019|loc=1. Introduction}}。VQA（2014年）{{Efn|未知の物体なども対象とした（open-world）手法として初めて提案されたのがMalinowski et al. (2014)<ref name="vqa-paper" />である{{Sfn|Wu|2017|p=3}}。}}、マルチモーダル機械翻訳（2016年）<ref name=":14" />、Visual Dialog（2017年）<ref name=":6" />、視覚と言語を用いたナビゲーション（2017年）<ref name=":12" />といったタスクの研究も2010年代に始まった。

深層学習が適用されるようになってからは、主に[[畳み込みニューラルネットワーク]]（CNN）を用いて画像や動画の[[特徴量]]を、[[回帰型ニューラルネットワーク]]（RNN）を用いて自然言語の特徴量を抽出して、2種類の特徴量を統合する手法が研究されてきた{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。2019年からは[[Transformer (機械学習モデル)|Transformer]]<ref name=":16">{{Cite journal|last=Vaswani|first=Ashish|last2=Shazeer|first2=Noam|last3=Parmar|first3=Niki|last4=Uszkoreit|first4=Jakob|last5=Jones|first5=Llion|last6=Gomez|first6=Aidan N|last7=Kaiser|first7=Łukasz|last8=Polosukhin|first8=Illia|date=2017|title=Attention is All you Need|url=https://papers.nips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html|journal=Advances in Neural Information Processing Systems|volume=30|publisher=Curran Associates, Inc.}}</ref><ref name=":17">{{Cite journal|last=Parmar|first=Niki|last2=Vaswani|first2=Ashish|last3=Uszkoreit|first3=Jakob|last4=Kaiser|first4=Lukasz|last5=Shazeer|first5=Noam|last6=Ku|first6=Alexander|last7=Tran|first7=Dustin|date=2018-07-03|title=Image Transformer|url=https://proceedings.mlr.press/v80/parmar18a.html|journal=International Conference on Machine Learning|pages=4055–4064|publisher=PMLR|language=en}}</ref>という共通のモデルを用いる手法が研究されている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1270}}{{Sfn|Uppal|2022|p=161}}。


== 手法 ==

[[File:Image-captioning.png|thumb|450px|画像キャプション生成の例。画像の特徴量を得るために[[畳み込みニューラルネットワーク|CNN]]を利用し、文章を生成するために[[回帰型ニューラルネットワーク|RNN]]を用いている。]]
=== 視覚情報と自然言語情報の統合（2018年ごろまでの主流） ===
視覚と自然言語の融合研究の手法について、視覚情報や自然言語の[[特徴量]]を得る機構などには共通点が多く{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1189}}、2018年ごろまで{{Sfn|Uppal|2022|p=161}}の多くの手法は、(1)視覚情報処理、(2)自然言語処理、(3)二つの情報の統合を行う3個のサブシステムを持っていた{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。

視覚情報処理には、かつてはSIFTなどの局所画像特徴量が用いられていたが<ref name=":19" /><ref name=":15" />、深層学習が適用され始めてからは主に[[畳み込みニューラルネットワーク|CNN]]が使用されてきた{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。2017年まではCNNが出力する特徴量をそのまま利用するモデルが多かったが、バウンディングボックスや[[グラフ (離散数学)|グラフ構造]]を中間表現として利用する研究も行われるようになった{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。

自然言語処理には[[単語の埋め込み|単語ベクトル]]が使われることが多かったが{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1187}}、深層学習が適用され始めてからは主に[[回帰型ニューラルネットワーク|RNN]]で得られる文章全体の特徴量が使用されてきた{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。

これらの手法によって得られた画像や動画と自然言語の情報を統合するための手法は、タスクごとに様々なものが利用されている{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。CNNやRNNから得られた特徴量ベクトルを統合する最も単純な方法は、二つのベクトルを連結したり[[アダマール積]]をとることである{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。より高度な手法として、{{仮リンク|注意機構|en|Attention (machine learning)}}（Attention）という手法を適用して、画像や自然言語からそれぞれのクエリに対して重要な情報を自動的に選択して利用することが提案されている{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}。

=== 統合的な事前学習（2019年以降） ===
事前学習とは、機械学習のモデルを大規模な[[データセット]]で学習することで、さまざまなタスクに用いることができる[[特徴量]]を抽出できるモデルを学習する手法である<ref name=":18">{{Cite journal|last=He|first=Kaiming|last2=Girshick|first2=Ross|last3=Dollar|first3=Piotr|date=2019-10|title=Rethinking ImageNet Pre-Training|url=https://ieeexplore.ieee.org/document/9010930/|journal=2019 IEEE/CVF International Conference on Computer Vision (ICCV)|pages=4917–4926|publisher=IEEE|location=Seoul, Korea (South)|doi=10.1109/ICCV.2019.00502|isbn=978-1-7281-4803-8}}</ref>。大規模なデータセットで事前学習を行ったのちに、比較的小規模のデータセットを用いて個別のタスクにチューニングを行うことで、高い性能を持つモデルを学習できることが知られている<ref name=":18" />。コンピュータビジョンにおいては[[畳み込みニューラルネットワーク|CNN]]を[[ImageNet]]などの大規模なデーセットで事前学習することは広く行われてきたが<ref name=":18" />、[[回帰型ニューラルネットワーク|RNN]]を用いた自然言語処理で事前学習を行うことは少なかった{{Sfn|Qiu|2020|p=1872}}{{Efn|自然言語処理分野においては、単語ベクトルを事前学習することは広く研究されてきた{{Sfn|Qiu|2020|p=1872}}。}}。2017年に発表された自然言語処理の新しいモデルである[[Transformer (機械学習モデル)|Transformer]]<ref name=":16" />に対して事前学習を行う手法が2018年に提案され<ref>{{Cite journal|last=Devlin|first=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|date=2019|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|url=http://aclweb.org/anthology/N19-1423|journal=Proceedings of the 2019 Conference of the North|pages=4171–4186|publisher=Association for Computational Linguistics|location=Minneapolis, Minnesota|language=en|doi=10.18653/v1/N19-1423}}</ref>、自然言語処理においても文章全体について事前学習を行う研究が行われるようになった（[[BERT (言語モデル)|BERT]]など）{{Sfn|Qiu|2020|p=1873}}。2018年には動画にTransformerを適用する研究が提案され、2020年には画像にTransformerを適用する研究も始められた（{{仮リンク|Vision Transformer|en|Vision transformer}}）{{Sfn|Han|2022|p=1}}。

視覚と自然言語の融合研究においても、2019年からTransformerを用いて画像・動画と自然言語の事前学習を同時に行う研究が行われている{{Sfn|Uppal|2022|p=161}}。

== 主なタスクの研究・評価手法 ==
視覚と自然言語の融合研究のタスクには共通点があるが{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1189}}{{Sfn|Kafle|2019|loc=2.2. V&L Algorithms}}、タスクごとに異なる手法が研究されている{{Sfn|Uppal|2022|p=149}}。ここでは主なタスクの手法と評価手法を紹介する。

=== 画像・動画の説明生成 ===
;画像キャプション生成の手法
: 研究が始められた2000年代ごろには主にテンプレートを用いた手法が提案されていた{{Sfn|Wang|2021|p=2}}。テンプレートを用いて文章を生成するために{{仮リンク|SIFT特徴量|en|Scale-invariant feature transform|label=SIFT}}や{{仮リンク|HOG特徴量|en|Histogram of oriented gradients|label=HOG}}などの局所画像特徴量<ref name=":15" />に対して[[サポートベクターマシン|SVM]]などの分類器を適用するなどの手法が提案された<ref name=":19" />{{Sfn|Hossain|2019|p=2}}。
: 深層学習を用いた手法が発展した2010年代には、[[畳み込みニューラルネットワーク|CNN]]と[[回帰型ニューラルネットワーク|RNN]]を用いる方法が一般的になった{{Sfn|Hossain|2019|p=2}}。さまざまなモデルが提案されているが、単純かつ一般的に使用されている手法としては[[教師あり学習]]を用いたエンコーダ・デコーダモデルがある{{Sfn|Hossain|2019|pp=4,11}}。これは、CNNを用いて画像特徴量を抽出して、画像特徴量をRNNに入力してキャプションを生成するという手法である{{Sfn|Hossain|2019|pp=11}}。2019年には画像と自然言語の両方に[[Transformer (機械学習モデル)|Transformer]]を使用する手法も提案されている{{Sfn|Uppal|2022|p=153}}。

;評価手法
: 主に使用されているのは、生成された説明と[[データセット]]に含まれる説明の類似度による評価である{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1198}}{{Sfn|Sharma|2020|p=327}}。{{仮リンク|BLEU (評価指標)|en|BLEU|label=BLEU}}、[[ROUGE (評価指標)|ROUGE]]、{{仮リンク|METEOR (評価指標)|en|METEOR|label=METEOR}}といった[[機械翻訳]]などの自然言語処理タスクで使用されている評価基準が使われている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1198}}{{Sfn|Sharma|2020|p=327}}。

=== 画像・動画への質問応答（VQA) ===
[[File:Visual-question-answering-based-on-question-attention-model.jpg|thumb|450px|VQAの手法の例<ref>{{Cite journal|last=Zhang|first=Jianing|last2=Wu|first2=Zhaochang|last3=Zhang|first3=Huajie|last4=Chen|first4=Yunfang|date=2020-10-01|title=Visual Question Answering Based on Question Attention Model|url=https://iopscience.iop.org/article/10.1088/1742-6596/1624/2/022022|journal=Journal of Physics: Conference Series|volume=1624|issue=2|pages=022022|doi=10.1088/1742-6596/1624/2/022022|issn=1742-6588}}</ref>。画像に注意機構（Attention）を適用している。]]

;手法
: 2014年に研究が始められた当初の手法は、あらかじめ定義された形式の回答に限定されたものだったが、2015年には回答の形式を限定しないような質問にも対応できるモデルが提案された{{Sfn|Qi|2017|p=22}}。2015年に提案されたモデルのひとつは、[[畳み込みニューラルネットワーク|CNN]]で抽出された画像の[[特徴量]]ベクトルと質問文章の[[単語の埋め込み|単語ベクトル]]の両方をエンコーダの[[回帰型ニューラルネットワーク|RNN]]（[[長・短期記憶|LSTM]]）に入力することで特徴量を統合し、デコーダのRNNで回答を生成する手法である{{Sfn|Qi|2017|p=23}}。同時期には、特徴量の統合の方法を変更したり、注意機構（Attention）の適用や、[[データベース]]を利用する方法など、様々な手法が提案されている{{Sfn|Qi|2017|p=23}}。2019年には自然言語処理にTransformerを使用するモデルや{{Sfn|Uppal|2022|p=155}}、Transformerを用いて画像と自然言語の特徴量を統合的に事前学習する手法が提案されている<ref>{{Cite journal|last=Zhou|first=Luowei|last2=Palangi|first2=Hamid|last3=Zhang|first3=Lei|last4=Hu|first4=Houdong|last5=Corso|first5=Jason|last6=Gao|first6=Jianfeng|date=2020-04-03|title=Unified Vision-Language Pre-Training for Image Captioning and VQA|url=https://aaai.org/ojs/index.php/AAAI/article/view/7005|journal=Proceedings of the AAAI Conference on Artificial Intelligence|volume=34|issue=07|pages=13041–13049|doi=10.1609/aaai.v34i07.7005|issn=2374-3468}}</ref>。

;評価手法
: VQAの回答は画像キャプションなどよりは短いことが多いため、単純な評価手法が使用されることが多いが、高度な評価手法も研究されている{{Sfn|Wu|2017|p=22}}。単純な手法のひとつは、生成された回答とデータセットに含まれる回答が厳密に一致しているかを評価することである{{Sfn|Wu|2017|p=30}}。高度な手法としては、回答の意味の類似度を評価する手法が研究されている{{Sfn|Wu|2017|p=30}}。

=== 画像検索（Image Retrieval） ===
[[File:Precisionrecall.svg|thumb|250px|{{仮リンク|適合率と再現率|en|Precision and recall|label=適合率（Precision）と再現率（Recall）}}の説明。]]

;手法
: さまざまな種類のクエリに対する画像検索が研究されているが{{Sfn|Datta|2008|pp=11-12}}{{Sfn|Latif|2019|p=3}}、文章か画像をクエリとする研究が多く研究されている{{Sfn|Latif|2019|p=1}}。
: 文章をクエリとする検索について、2019年でも[[検索エンジン|ウェブ検索]]では人間がつけたキャプションなどの自然言語の情報を利用しているとされている{{Sfn|Latif|2019|p=1}}。キャプションがない画像も検索するために、画像キャプション生成などを用いて{{Sfn|Hossain|2019|p=1}}自動的に[[アノテーション]]を行う手法を適用することが研究されている{{Sfn|Latif|2019|p=2}}。
: 人間がつけたキャプションなどを利用しない方法として、1990年代から画像をクエリとして類似する画像を検索する研究が行なわれている{{Sfn|Latif|2019|p=2}}{{Sfn|Kapoor|2021|p=29562}}。画像をクエリとした画像検索は、画像から[[特徴量]]を抽出して類似度を評価することで行なわれる{{Sfn|Kapoor|2021|p=29561}}。初期の研究として[[色]]、[[形]]、[[テクスチャ|質感]]などを特徴量として使用する方法が研究されてきたが、それだけでは画像が表す意味の類似性を比較することができないことが課題だった{{Sfn|Kapoor|2021|p=29562}}。そのため、深層学習が適用される以前から、画像全体の意味も表すような特徴量も併用する試みが研究されてきた{{Sfn|Kapoor|2021|p=29562}}。深層学習を使用した方法も数多く提案されており、[[畳み込みニューラルネットワーク|CNN]]を利用して画像検索に有用な特徴量を抽出する研究が行なわれている{{Sfn|Kapoor|2021|pp=29563-29571}}。

;評価手法
: 画像検索には[[情報検索]]の評価手法が用いられる{{Sfn|Datta|2008|p=52}}。評価手法として様々なものがあり、想定される適用先などによって使い分けることが求められる{{Sfn|Latif|2019|p=17}}。広く用いられているのは{{仮リンク|適合率と再現率|en|Precision and recall|label=適合率（Precision）と再現率（Recall）}}、および[[F値 (評価指標)|F値]]である{{Sfn|Latif|2019|p=17}}。ここで、検索結果の上位k個の画像を「検出された」と判定するとする{{Sfn|Latif|2019|p=17}}。また、評価の際には、検出されるべき正解の画像（複数の場合もある）が分かっているとする{{Sfn|Latif|2019|p=17}}。下式のように、適合率（P）は検出された画像の中で、正解の画像（tp）の割合で表される（fpは誤って検出された画像の数）{{Sfn|Latif|2019|p=17}}。再現率（R)は検出されるべき正解の画像の中で、実際に検出された画像（tp）の割合で表される（fnは正解の画像だが、検出されなかった画像の数）{{Sfn|Latif|2019|p=17}}。
: <math>\mathsf{P} = \frac{tp}{tp+fp}, \mathsf{R} = \frac{tp}{tp+fn}</math>
: F値は適合率と再現率の[[調和平均]]で求められる{{Sfn|Latif|2019|p=17}}。

=== 文章に対する画像生成 ===
;手法
: 2016年から[[敵対的生成ネットワーク|GAN]]を応用した手法が提案されていたが、文章で条件付けしない通常の画像生成と比較すると、生成される画像の質が低かった{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1258}}。画像の質を高めるために複数のGANを使用したり、文章全体の意味を画像に反映するために注意機構（Attention）を使用する研究が提案された{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1258}}。

;評価手法
: [[敵対的生成ネットワーク|GAN]]などのコンピュータビジョンにおける画像生成タスクで使用される評価指標が使われている{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1261}}。Inception Scoreという指標を用いて画像の質や多様性を評価できるが、Inception Scoreでは文章に対応した画像を生成できているかを評価することができないので、R-Precisionという指標も併用される<ref>{{Cite journal|last=Li|first=Bowen|last2=Qi|first2=Xiaojuan|last3=Lukasiewicz|first3=Thomas|last4=Torr|first4=Philip|date=2019|title=Controllable Text-to-Image Generation|url=https://papers.nips.cc/paper/2019/hash/1d72310edc006dadf2190caad5802983-Abstract.html|journal=Advances in Neural Information Processing Systems|volume=32|publisher=Curran Associates, Inc.}}</ref>。

== データセット ==
大規模な[[データセット]]を用いて学習することは、深層学習モデルの汎化性能を高める重要な要素のひとつである{{Sfn|Goodfellow|2016|p=19}}。視覚と自然言語の融合研究においても大規模なデータセットは重要な役割を果たしており、モデルの学習と評価に不可欠な存在である{{Sfn|Ferraro|2015|p=207}}。写真の共有サイトである[[Flickr]]などから提供される画像データと[[クラウドソーシング]]によるアノテーションによって、大規模なデータセットを作ることが可能になった{{Sfn|Ferraro|2015|p=207}}。このような既存の画像を収集するだけではなく、データセットのために作成されることもある<ref name=":12" />。

さまざまなデータセットが提案されているが、データセットのサイズ（含まれる画像や文章の数）、画像の質や多様性、文章の長さ、文章に含まれる単語や構文の多様性、アノテーションの豊富さなどの異なる性質を持っており{{Sfn|Ferraro|2015|p=208}}、それぞれのデータセットに利点と欠点がある{{Sfn|Ferraro|2015|p=207}}。

本節では主なデータセットを紹介する{{Efn|サーベイ論文{{Sfn|Ferraro|2015}}{{Sfn|Mogadala|Kalimuthu|Klakow|2021}}で挙げられているデータセットを中心に取り上げる。}}。

=== 画像・動画の説明生成 ===
データセットには画像と説明文が含まれるが、データセットによってデータの数や質、収集方法などが異なる{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1193}}。

==== キャプション付き画像データセット ====
{| class="wikitable"
|+
!名称
!発表年
!画像の枚数
!各画像のキャプション数
!特徴
!出典
|-
|SBU Captioned Photo Dataset
|2011
|1,000,000
|1
|[[Flickr]]から集められた写真で、ユーザがつけたキャプションを利用している。
|<ref>{{Cite web |title=Im2Text: Describing Images Using 1 Million Captioned Photographs |url=https://www.cs.virginia.edu/~vicente/sbucaptions/ |website=Vicente Ordonez |accessdate=2022-03-25}}</ref>
|-
|Flickr 30K Images
|2014
|31,014
|5
|[[Flickr]]から集められた写真に対して、クラウドソーシングでキャプションを付けている。
|<ref>{{Cite journal|last=Young|first=Peter|last2=Lai|first2=Alice|last3=Hodosh|first3=Micah|last4=Hockenmaier|first4=Julia|date=2014|title=From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions|url=https://aclanthology.org/Q14-1006|journal=Transactions of the Association for Computational Linguistics|volume=2|pages=67–78|doi=10.1162/tacl_a_00166}}</ref>
|-
|Microsoft COCO Dataset
|2014
|123,287
|5
|[[Flickr]]から集められた写真に対して、クラウドソーシングでキャプションを付けている。広く利用されているデータセット{{Sfn|Mogadala|Kalimuthu|Klakow|2021|p=1195}}。
|<ref>{{Cite journal|last=Lin|first=Tsung-Yi|last2=Maire|first2=Michael|last3=Belongie|first3=Serge|last4=Hays|first4=James|last5=Perona|first5=Pietro|last6=Ramanan|first6=Deva|last7=Dollár|first7=Piotr|last8=Zitnick|first8=C. Lawrence|editor-last=Fleet|editor-first=David|editor2-last=Pajdla|editor2-first=Tomas|editor3-last=Schiele|editor3-first=Bernt|editor4-last=Tuytelaars|editor4-first=Tinne|date=2014|title=Microsoft COCO: Common Objects in Context|url=https://link.springer.com/chapter/10.1007/978-3-319-10602-1_48|journal=Computer Vision – ECCV 2014|pages=740–755|publisher=Springer International Publishing|location=Cham|language=en|doi=10.1007/978-3-319-10602-1_48|isbn=978-3-319-10602-1}}</ref>
|}

==== 説明付き動画データセット ====
{| class="wikitable"
!名称
!発表年
!動画の数
!動画の合計時間
!文章の数
!特徴
!出典
|-
|Microsoft Research Video Description Corpus
|2011
|1,970
|5.3時間
|70,028
|[[YouTube]]の動画に、[[クラウドソーシング]]で説明をつけている。複数言語の説明がつけられている。
|<ref>{{Cite journal|last=Chen|first=David|last2=Dolan|first2=William|date=2011-06|title=Collecting Highly Parallel Data for Paraphrase Evaluation|url=https://aclanthology.org/P11-1020|journal=Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies|pages=190–200|publisher=Association for Computational Linguistics|location=Portland, Oregon, USA}}</ref>
|}

=== 画像への質問応答 ===
異なる特徴を持ったさまざまなデータセットが提案されている。実世界の画像を用いたデータセットが良く使われているが{{Sfn|Wu|2017|p=28}}、画像認識の能力ではなく意味を理解できているかの評価に注目するために、[[クリップアート]]で作成された絵を用いたデータセットも提案されている{{Sfn|Wu|2017|p=33}}。初期のデータセットは画像中の情報を理解できれば質問に答えられるものであったが、2015年に発表されたKB-VQAというデータセットなどは、画像中の情報だけでは質問に正しく回答することはできず、外部[[データベース]]の知識を用いることが求められる{{Sfn|Wu|2017|p=33}}。2017年に発表されたVisual Genomeというデータセットでは、画像のシーングラフ（物体をノード、物体同士の関係（位置関係など）をエッジとする[[グラフ (離散数学)|グラフ]]{{Sfn|He|2021|p=5}}）が与えられている{{Sfn|Wu|2017|p=34}}。
{| class="wikitable"
|+
!名称
!発表年
!画像の枚数
!質問の数
!回答の数
!説明
!出典
|-
|Visual Question Answering Dataset (v1.0)
|2015
|204,721 + 50,000
|614,163 + 150,000
|6,141,630 + 1,500,000
|MS COCOの画像（204,721枚）とクリップアートで作成された絵（50,000枚）に対して、[[クラウドソーシング]]で質問と回答がつけられている。
|<ref>{{Cite web |title=Visual Question Answering |url=http://visualqa.org/ |website=Visual Question Answering |accessdate=2022-03-25 |language=en}}</ref>
|}

== 課題 ==

=== データセットバイアス ===
データセットバイアスとは、機械学習モデルの学習に使用したときに誤った結論を導く可能性がある、[[データセット]]の偏りのことである<ref>{{Citation|title=Domain Adaptation in Computer Vision Applications|last=Tommasi|first=Tatiana|last2=Patricia|first2=Novi|last3=Caputo|first3=Barbara|last4=Tuytelaars|first4=Tinne|date=2017|year=2017|url=https://doi.org/10.1007/978-3-319-58347-1_2|publisher=Springer International Publishing|editor-last=Csurka|editor-first=Gabriela|page=39|chapter=A Deeper Look at Dataset Bias|isbn=978-3-319-58347-1|language=en|doi=10.1007/978-3-319-58347-1_2}}</ref>。例えば、画像データセットを用いて「[[自動車]]」を認識する機械学習モデルを学習するときに、[[ImageNet]]というデータセットでは「自動車」というラベルに[[スポーツカー]]を多く含むため、[[自家用自動車|自家用車]]の検出性能が低くなってしまうという問題が起こることがある<ref>{{Cite journal|last=Torralba|first=Antonio|last2=Efros|first2=Alexei A.|date=2011-06|title=Unbiased look at dataset bias|url=https://ieeexplore.ieee.org/document/5995347|journal=CVPR 2011|pages=1521–1528|doi=10.1109/CVPR.2011.5995347}}</ref>。逆に、学習データとテストデータは多くの場合は同じ条件で集められているため、学習データを記憶するだけでテストデータにも対応できてしまい、実際の性能よりも高く評価されてしまうという問題が起こることもある{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}。

データセットバイアスはコンピュータビジョンや自然言語処理のそれぞれの分野でも問題となるが、両方の分野を対象とする融合研究ではより深刻な影響を受けるとされている{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}<ref>{{Cite web |url=https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/slides/cs224n-2019-lecture19-bias.pdf |title=Bias in the Vision and Language of Artificial Intelligence |accessdate=2022-04-08 |author=Margaret Mitchell}}</ref>。一例として、VQAのデータセットにおいて、質問に対する回答に偏りがあると画像を使わなくても一定の精度を達成できてしまうことが知られている{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}<ref name="vqa">{{Cite journal|last=Antol|first=Stanislaw|last2=Agrawal|first2=Aishwarya|last3=Lu|first3=Jiasen|last4=Mitchell|first4=Margaret|last5=Batra|first5=Dhruv|last6=Zitnick|first6=C. Lawrence|last7=Parikh|first7=Devi|date=2015-12|title=VQA: Visual Question Answering|url=http://ieeexplore.ieee.org/document/7410636/|journal=2015 IEEE International Conference on Computer Vision (ICCV)|pages=2425–2433|publisher=IEEE|location=Santiago, Chile|doi=10.1109/ICCV.2015.279|isbn=978-1-4673-8391-2}}</ref>。例えばデータセットに「画像中に〜がありますか」という形式の質問が複数あり、答えとして「はい」が多いという偏りがあるとする{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}。機械学習モデルは画像の内容を確認して答えることが期待されるが、自然言語の質問だけを見て「画像中に〜がありますか」という形式の質問には常に「はい」と答えるように学習をされてしまうことが起こり得る{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}<ref name="vqa" />。

解決方法としてデータセットからバイアスを取り除く方法が研究されているが、大規模なデータセットにおいてあらゆる要素のバイアスを取り除くことは不可能に近く、未解決の問題とされている{{Sfn|Kafle|2019|loc=3.1. Dataset Bias}}。

=== 評価の難しさ ===
評価手法はコンピュータビジョンと自然言語処理の各分野においても課題のひとつであるが、融合研究においてはさらに大きな問題となっているとされている{{Sfn|Kafle|2019|loc=3.2. Evaluation Metrics}}。特に自然言語生成に関係するタスクにおける評価は難しいとされる{{Sfn|Kafle|2019|loc=3.2. Evaluation Metrics}}{{Sfn|Iqbal|2020|p=12}}<ref>{{Cite journal|last=Novikova|first=Jekaterina|last2=Dušek|first2=Ondřej|last3=Cercas Curry|first3=Amanda|last4=Rieser|first4=Verena|date=2017|title=Why We Need New Evaluation Metrics for NLG|url=http://aclweb.org/anthology/D17-1238|journal=Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing|pages=2241–2252|publisher=Association for Computational Linguistics|location=Copenhagen, Denmark|language=en|doi=10.18653/v1/D17-1238}}</ref>。例えば画像キャプション生成において「男性が木の横を歩いている」と「男が木のそばを散歩している」という二つの文章はほとんど同じ意味を表しているが、自動的に類似度の評価を行うことは難しい{{Sfn|Kafle|2019|loc=3.2. Evaluation Metrics}}。また、VQAにおいて「[[鳥類|鳥]]」という答えが正解とされている問題に対して、「[[鷹]]」という答えが正しいのかどうかを自動的に評価することは難しい{{Sfn|Kafle|2019|loc=3.2. Evaluation Metrics}}。

評価手法を改善する研究は行われているが、未解決の問題となっている{{Sfn|Kafle|2019|loc=3.2. Evaluation Metrics}}。

== 脚注 ==

=== 注釈 ===
{{Reflist|group=注釈}}

=== 出典 ===
{{Reflist|3}}

== 参考文献 ==

=== 書籍 ===
* {{Cite book|洋書|title=Deep Learning|url=https://mitpress.mit.edu/books/deep-learning|publisher=MIT Press|date=2016-11-18|location=Cambridge, MA, USA|isbn=978-0-262-03561-3|language=en|first=Ian|last=Goodfellow|first2=Yoshua|last2=Bengio|first3=Aaron|last3=Courville|ref={{SfnRef|Goodfellow|2016}}}}
* {{cite book|洋書|author1=Milan Sonka|author2=Vaclav Hlavac|author3=Roger Boyle|title=Image Processing, Analysis, and Machine Vision|publisher=Thomson|year=2008|isbn=978-0-495-08252-1|ref={{SfnRef|Sonka|2008}}}}
* {{Cite book|洋書|edition=Second edition|title=Speech and language processing : an introduction to natural language processing, computational linguistics, and speech recognition|url=https://www.worldcat.org/oclc/213375806|isbn=978-0-13-187321-6|oclc=213375806|first=Daniel|last=Jurafsky|year=2009|publisher=Prentice Hall|ref={{SfnRef|Jurafsky|2009}}|first2=James H.|last2=Martin}}
* {{Cite book|洋書|title=Introduction to natural language processing|url=https://www.worldcat.org/oclc/1080249173|location=Cambridge, Massachusetts|isbn=978-0-262-04284-0|oclc=1080249173|first=Jacob|last=Eisenstein|year=2019|publisher=The MIT Press|ref={{SfnRef|Eisenstein|2019}}}}

=== サーベイ論文（視覚と自然言語の融合研究について） ===

==== 分野全体について ====
* {{Cite journal|last=Ferraro|first=Francis|last2=Mostafazadeh|first2=Nasrin|last3=Huang|first3=Ting-Hao|last4=Vanderwende|first4=Lucy|last5=Devlin|first5=Jacob|last6=Galley|first6=Michel|last7=Mitchell|first7=Margaret|date=2015-09|title=A Survey of Current Datasets for Vision and Language Research|url=https://aclanthology.org/D15-1021|journal=Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing|pages=207–213|publisher=Association for Computational Linguistics|location=Lisbon, Portugal|doi=10.18653/v1/D15-1021|ref={{SfnRef|Ferraro|2015}}}}
* {{Cite journal|last=Baltrušaitis|first=Tadas|last2=Ahuja|first2=Chaitanya|last3=Morency|first3=Louis-Philippe|date=2019-02|title=Multimodal Machine Learning: A Survey and Taxonomy|url=https://ieeexplore.ieee.org/abstract/document/8269806|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=41|issue=2|pages=423–443|ref={{SfnRef|Baltrušaitis|2019}}|doi=10.1109/TPAMI.2018.2798607|issn=1939-3539}}
* {{Cite journal|last=Kafle|first=Kushal|last2=Shrestha|first2=Robik|last3=Kanan|first3=Christopher|date=2019|title=Challenges and Prospects in Vision and Language Research|url=https://www.frontiersin.org/article/10.3389/frai.2019.00028|journal=Frontiers in Artificial Intelligence|volume=2|doi=10.3389/frai.2019.00028/full|issn=2624-8212|ref={{SfnRef|Kafle|2019}}}}
* {{Cite journal|last=Uppal|first=Shagun|last2=Bhagat|first2=Sarthak|last3=Hazarika|first3=Devamanyu|last4=Majumder|first4=Navonil|last5=Poria|first5=Soujanya|last6=Zimmermann|first6=Roger|last7=Zadeh|first7=Amir|date=2022-01-01|title=Multimodal research in vision and language: A review of current and emerging trends|url=https://www.sciencedirect.com/science/article/pii/S1566253521001512|journal=Information Fusion|volume=77|pages=149–171|language=en|ref={{SfnRef|Uppal|2022}}|doi=10.1016/j.inffus.2021.07.009|issn=1566-2535}}
* {{Cite journal|last=Mogadala|first=Aditya|last2=Kalimuthu|first2=Marimuthu|last3=Klakow|first3=Dietrich|date=2021-08-30|title=Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods|url=https://www.jair.org/index.php/jair/article/view/11688|journal=Journal of Artificial Intelligence Research|volume=71|pages=1183–1317|language=en|ref=harv|doi=10.1613/jair.1.11688|issn=1076-9757}}

==== それぞれのタスクについて ====

* {{Cite journal|last=Hossain|first=MD. Zakir|last2=Sohel|first2=Ferdous|last3=Shiratuddin|first3=Mohd Fairuz|last4=Laga|first4=Hamid|date=2019-02-04|title=A Comprehensive Survey of Deep Learning for Image Captioning|url=https://doi.org/10.1145/3295748|journal=ACM Computing Surveys|volume=51|issue=6|pages=1–36|ref={{SfnRef|Hossain|2019}}|doi=10.1145/3295748|issn=0360-0300}}
* {{Cite journal|last=Sharma|first=Himanshu|last2=Agrahari|first2=Manmohan|last3=Singh|first3=Sujeet Kumar|last4=Firoj|first4=Mohd|last5=Mishra|first5=Ravi Kumar|date=2020-02|title=Image Captioning: A Comprehensive Survey|url=https://ieeexplore.ieee.org/document/9087226|journal=2020 International Conference on Power Electronics IoT Applications in Renewable Energy and its Control (PARC)|pages=325–328|doi=10.1109/PARC49193.2020.236619|ref={{SfnRef|Sharma|2020}}}}
* {{Cite journal|last=Wang|first=Chaoyang|last2=Zhou|first2=Ziwei|last3=Xu|first3=Liang|date=2021-01|title=An Integrative Review of Image Captioning Research|url=https://doi.org/10.1088/1742-6596/1748/4/042060|journal=Journal of Physics: Conference Series|volume=1748|issue=4|pages=042060|language=en|doi=10.1088/1742-6596/1748/4/042060|issn=1742-6596|ref={{SfnRef|Wang|2021}}}}
* {{Cite journal|last=Wu|first=Qi|last2=Teney|first2=Damien|last3=Wang|first3=Peng|last4=Shen|first4=Chunhua|last5=Dick|first5=Anthony|last6=van den Hengel|first6=Anton|date=2017-10-01|title=Visual question answering: A survey of methods and datasets|url=https://www.sciencedirect.com/science/article/pii/S1077314217300772|journal=Computer Vision and Image Understanding|volume=163|pages=21–40|language=en|ref={{SfnRef|Wu|2017}}|doi=10.1016/j.cviu.2017.05.001|issn=1077-3142}}
* {{Cite journal|last=Datta|first=Ritendra|last2=Joshi|first2=Dhiraj|last3=Li|first3=Jia|last4=Wang|first4=James Z.|date=2008-04|title=Image retrieval: Ideas, influences, and trends of the new age|url=https://dl.acm.org/doi/10.1145/1348246.1348248|journal=ACM Computing Surveys|volume=40|issue=2|pages=1–60|language=en|ref={{SfnRef|Datta|2008}}|doi=10.1145/1348246.1348248|issn=0360-0300}}
* {{Cite journal|last=Dureja|first=Aman|last2=Pahwa|first2=Payal|date=2017-12-28|title=Image retrieval techniques: a survey|url=https://www.sciencepubco.com/index.php/ijet/article/view/9231|journal=International Journal of Engineering & Technology|volume=7|issue=1.2|pages=215|ref={{SfnRef|Dureja|2017}}|doi=10.14419/ijet.v7i1.2.9231|issn=2227-524X}}
* {{Cite journal|last=Latif|first=Afshan|last2=Rasheed|first2=Aqsa|last3=Sajid|first3=Umer|last4=Ahmed|first4=Jameel|last5=Ali|first5=Nouman|last6=Ratyal|first6=Naeem Iqbal|last7=Zafar|first7=Bushra|last8=Dar|first8=Saadat Hanif|last9=Sajid|first9=Muhammad|date=2019-08-26|title=Content-Based Image Retrieval and Feature Extraction: A Comprehensive Review|url=https://www.hindawi.com/journals/mpe/2019/9658350/|journal=Mathematical Problems in Engineering|volume=2019|pages=e9658350|language=en|ref={{SfnRef|Latif|2019}}|doi=10.1155/2019/9658350|issn=1024-123X}}
* {{Cite journal|last=Kapoor|first=Rajiv|last2=Sharma|first2=Deepak|last3=Gulati|first3=Tarun|date=2021-08-01|title=State of the art content based image retrieval techniques using deep learning: a survey|url=https://doi.org/10.1007/s11042-021-11045-1|journal=Multimedia Tools and Applications|volume=80|issue=19|pages=29561–29583|language=en|ref={{SfnRef|Kapoor|2021}}|doi=10.1007/s11042-021-11045-1|issn=1573-7721}}
* {{Cite journal|last=Krahmer|first=Emiel|last2=van Deemter|first2=Kees|date=2012-03|title=Computational Generation of Referring Expressions: A Survey|url=https://aclanthology.org/J12-1006|journal=Computational Linguistics|volume=38|issue=1|pages=173–218|ref={{SfnRef|Krahmer|2012}}|doi=10.1162/COLI_a_00088}}
* {{Cite journal|last=Qiao|first=Yanyuan|last2=Deng|first2=Chaorui|last3=Wu|first3=Qi|date=2021|title=Referring Expression Comprehension: A Survey of Methods and Datasets|url=https://ieeexplore.ieee.org/document/9285213|journal=IEEE Transactions on Multimedia|volume=23|pages=4426–4440|doi=10.1109/TMM.2020.3042066|issn=1941-0077|ref={{SfnRef|Qiao|2021}}}}
* {{Cite journal|last=He|first=Feijuan|last2=Wang|first2=Yaxian|last3=Miao|first3=Xianglin|last4=Sun|first4=Xia|date=2021-08-01|title=Interpretable visual reasoning: A survey|url=https://www.sciencedirect.com/science/article/pii/S0262885621000998|journal=Image and Vision Computing|volume=112|pages=104194|language=en|doi=10.1016/j.imavis.2021.104194|ref={{SfnRef|He|2021}}|issn=0262-8856}}

=== サーベイ論文（コンピュータビジョンおよび自然言語処理について） ===

* {{Cite journal|last=Qiu|first=XiPeng|last2=Sun|first2=TianXiang|last3=Xu|first3=YiGe|last4=Shao|first4=YunFan|last5=Dai|first5=Ning|last6=Huang|first6=XuanJing|date=2020-10-01|title=Pre-trained models for natural language processing: A survey|url=https://doi.org/10.1007/s11431-020-1647-3|journal=Science China Technological Sciences|volume=63|issue=10|pages=1872–1897|language=en|ref={{SfnRef|Qiu|2020}}|doi=10.1007/s11431-020-1647-3|issn=1869-1900}}
* {{Cite journal|last=Khan|first=Salman|last2=Naseer|first2=Muzammal|last3=Hayat|first3=Munawar|last4=Zamir|first4=Syed Waqas|last5=Khan|first5=Fahad Shahbaz|last6=Shah|first6=Mubarak|date=2021-12-07|title=Transformers in Vision: A Survey|url=https://doi.org/10.1145/3505244|journal=ACM Computing Surveys|ref={{SfnRef|Khan|2021}}|doi=10.1145/3505244|issn=0360-0300}}
* {{Cite journal|last=Han|first=Kai|last2=Wang|first2=Yunhe|last3=Chen|first3=Hanting|last4=Chen|first4=Xinghao|last5=Guo|first5=Jianyuan|last6=Liu|first6=Zhenhua|last7=Tang|first7=Yehui|last8=Xiao|first8=An|last9=Xu|first9=Chunjing|date=2022|title=A Survey on Vision Transformer|url=https://ieeexplore.ieee.org/document/9716741/|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|ref={{SfnRef|Han|2022}}|doi=10.1109/TPAMI.2022.3152247|issn=0162-8828}}
* {{Cite journal|last=Iqbal|first=Touseef|last2=Qureshi|first2=Shaima|date=2020-04-13|title=The survey: Text generation models in deep learning|url=https://www.sciencedirect.com/science/article/pii/S1319157820303360|journal=Journal of King Saud University - Computer and Information Sciences|language=en|ref={{SfnRef|Iqbal|2020}}|doi=10.1016/j.jksuci.2020.04.001|issn=1319-1578}}

{{DEFAULTSORT:しかくとしぜんげんごのゆうごうけんきゅう}}
[[Category:機械学習]]
[[Category:人工知能]]
[[Category:ディープラーニング]]
[[Category:コンピュータビジョン]]
[[Category:自然言語処理]]