物体検出のソースを表示


[[ファイル:Detected-with-YOLO--Schreibtisch-mit-Objekten.jpg|サムネイル| 80クラスの一般的な物体を検出できるCOCOデータセットで学習されたYOLOv3モデルを使用して、[[OpenCV]]のディープニューラルネットワークモジュール（DNN）で検出された物体。]]
'''物体検出'''（ぶったいけんしゅつ、''object detection''）は、[[デジタル画像処理]]や[[コンピュータビジョン]]に関連する技術の一つで、デジタル画像・動画内に映っている特定のクラス（人間、建物、車といった[[カテゴリー]]）の物体を検出するものである<ref>Dasiopoulou, Stamatia, et al. "[http://www.iti.gr/~bmezaris/publications/csvt05.pdf Knowledge-assisted semantic video object detection]." IEEE Transactions on Circuits and Systems for Video Technology 15.10 (2005): 1210–1224.</ref>。物体検出はコンピュータビジョンの基礎的な学問領域であり、{{仮リンク|画像分類|en|image classification}}や[[顔認識システム|顔認識]]、[[自動運転車|自動運転]]など多くの分野でその知見が応用されている<ref name=":0">{{Cite journal|last=Zhao|author=|first=Zhong-Qiu|year=2019|date=|title=Object Detection with Deep Learning: A Review|url=|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=30|issue=11|page=|pages=3212-3232|publisher=IEEE|accessdate=2020-11-20|arxiv=1807.05511|doi=10.1109/TNNLS.2018.2876865|issn=|naid=|jstor=|id=}}</ref>。[[深層学習]]（ディープラーニング）技術の進展に伴い、物体検出の分野でも[[R-CNN]]やYOLO、SSDなどの深層学習を用いた手法が広く使われるようになって精度も大きく向上したが、一方で物体検出分野に特有の技術的な課題や学習・評価に必要なデータセット作成における課題など、解決されるべき課題も残っている。

== 概要 ==
[[File:Face detection.jpg|サムネイル|顔検出の事例。画像中の人物の顔が矩形で検出されている。]]
物体検出は、動画像内に特定の属性を持つ物体が存在するかどうかを検出し、もし存在する場合には各物体の位置と範囲まで推論する技術である<ref name=":1">{{Cite journal|author=Li Liu|year=2020|title=Deep Learning for Generic Object Detection: A Survey|journal=International Journal of Computer Vision|volume=128|page=|pages=261-318|accessdate=2020-11-20|DOI=10.1007/s11263-019-01247-4}}</ref>。物体の位置を示す方法として、{{仮リンク|バウンディングボックス|en|Minimum bounding box}}と呼ばれる物体を取り囲む最小の[[矩形]]を用いる方法が使われる<ref>{{Cite journal|author=Olga Russakovsky|year=2015|title=ImageNet Large Scale Visual Recognition Challenge|journal=International Journal of Computer Vision|volume=115|issue=3|page=|pages=211-252|accessdate=2020-11-20|arxiv=1409.0575v2|DOI=10.1007/s11263-015-0816-y}}</ref>。なお、画像認識一般において、認識対象がもつ属性を記号で表したものをクラスと呼ぶ<ref>{{Cite journal|author=佐藤 敦|year=2014|title=安全安心な社会を支える画像認識技術(<特集>企業におけるAI研究の最前線)|journal=人工知能|volume=29|issue=5|pages=448-455|publisher=人工知能学会|language=ja|DOI=10.11517/jjsai.29.5_448}}</ref>。

物体検出は画像理解、コンピュータビジョンの分野において基礎的な技術であり、{{仮リンク|画像分割|en|label=セグメンテーション|Image segmentation}}やシーン理解、{{仮リンク|物体追跡|en|Video tracking}}、画像[[キャプション]]付与といった他のより複雑な画像認識タスクを解決するための基礎である<ref name=":1" />。また実世界への応用についても、[[セキュリティ]]、自動運転、画像検索、ロボットビジョン等幅広い<ref name=":0" /><ref name=":1" />。類似の画像認識技術に、画像内の物体のクラスを識別するクラス分類タスクがある<ref>{{Cite journal|last=Zhang|first=Xin|last2=Yang|first2=Yee-Hong|last3=Han|first3=Zhiguang|last4=Wang|first4=Hui|last5=Gao|first5=Chao|date=2013-10|title=Object class detection: A survey|url=https://dl.acm.org/doi/10.1145/2522968.2522978|journal=ACM Computing Surveys|volume=46|issue=1|pages=1–53|language=en|doi=10.1145/2522968.2522978|issn=0360-0300|page=4|accessdate=2021-04-05}}</ref>が、物体検出ではクラスだけでなく物体の位置まで認識する必要があるため、検出器を作成するのはより難しい{{Sfn|Wu|Sahoo|Hoi|2020|p=20}}。また、タスクの特性上、認識対象外である背景の範囲に比べて認識対象の物体が少ないことも、物体検出が難しい一因である{{Sfn|Wu|Sahoo|Hoi|2020|p=20}}。

動画像から異なる物体を認識するためには、動画像から意味的で[[ロバストネス (コンピュータ)|ロバスト]]な{{仮リンク|特徴 (コンピュータビジョン)|en|Feature_(computer_vision)|label=特徴表現}}を抽出する必要がある<ref name=":0" />。例えば自動車を撮影した画像間で比較しても、セダンやワゴン、トラックといった外見的な違いがあるものを自動車として検出しなければならない{{Sfn|藤吉|2008|p=9}}。実世界には同じクラスの物体でも多様な形状が考えられるし、形状が変化する場合も考えられる{{Sfn|柳井|2007|p=4}}が、そうしたものを同じクラスで検出できるような頑健な特徴抽出手法が必要とされるのである{{Sfn|藤吉|2008|p=9-10}}{{Efn|当然ながら、特徴表現の抽出手法を適切に選択する以外に、頑健な認識モデルを構築することやそもそも学習に使うデータセットの中身を多様化することも必要である{{Sfn|柳井|2007|p=1}}。}}。<!-- 独自研究につきコメントアウト。 例えば画像内にある[[パソコン]]の蓋が閉じていようが開いていようがパソコンであることには変わらない。しかし動画像内での形状には変化がある。こうした場合にも双方を正しく認識するためには、形状的な情報だけでなくそれがパソコンであるという「意味的」な特徴や、蓋の開閉等といった変化に「ロバスト」な特徴を活用する必要がある。 -->[[2004年]]にスケール不変な特徴抽出手法である{{仮リンク|スケール不変特徴量変換|label=SIFT|en|Scale-invariant feature transform}}<ref name=":10">{{Cite journal|author=David G. Lowe|year=2004|title=Distinctive Image Features from Scale-Invariant Keypoints|url=https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf|journal=e International Journal of Computer Vision|volume=60|page=|pages=91-110|accessdate=2020-11-20|format=pdf|DOI=10.1023/B:VISI.0000029664.99615.94}}</ref>が発表されて以降、研究者がよりロバストな特徴量を設計し物体検出に応用するのが盛んとなった<ref name=":1" />が、[[2012年]]に[[深層ニューラルネットワーク]](DNN)を用いた手法が画像分類において従来の記録を大きく上回る精度を記録した<ref name=":3">{{Cite journal|author=Krizhevsky, Alex|year=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|journal=NIPS'12: Proceedings of the 25th International Conference on Neural Information Processing Systems|volume=1|pages=1097–1105}}</ref>ことで、物体検出でもDNNが活用されるようになり<ref name=":2" />、2019年頃になってもDNNを用いた物体検出手法がなお盛んに研究されている<ref name=":1" />。

== 歴史 ==
=== 初期 ===
1970年代には既に物体検出を取り上げた研究が存在していた<ref>{{Cite journal|author=M.A. Fischler|year=1973|title=The Representation and Matching of Pictorial Structures|journal=IEEE Transactions on Computers|volume=C-22|issue=1|page=|pages=67-92|DOI=10.1109/T-C.1973.223602}}</ref>。初期の研究では、テンプレートマッチングや画像を分割し個別に検出アルゴリズムを使用するシンプルな手法が用いられており、顔検出などが対象になっていた<ref name=":1" />。1990年頃までは幾何的なアプローチが主であったが、その後は[[サポートベクターマシン]]（SVM）やニューラルネットワーク等の統計的な手法の研究が盛んとなっていく<ref name=":1" />。

=== SIFT以降 ===
上述したように動画像から異なる物体を認識するためには、意味的でロバストな特徴表現を動画像から得ることが重要である。回転、照明条件の違い、障害物の有無といった見た目の変化にも不変な局所的な特徴表現を学習する手法の研究が進んでいく<ref name=":1" />。そうした中で2004年にスケール不変な特徴抽出手法であるSIFT<ref name=":10" />が成功を収める等、研究者たちが様々な条件に不変な特徴抽出手法を提案するようになる<ref name=":1" />。[[2001年]]に提案された{{仮リンク|Haar-Like特徴|en|Haar-like feature}}に基づく{{仮リンク|Viola–Jones物体検出フレームワーク|en|Viola–Jones object detection framework}}<ref>{{Cite journal|author=VIOLA P.|year=2002|title=Robust Real-time Object Detection|journal=International Journal of Computer Vision|volume=57|issue=2|page=|pages=137-154}}</ref>は、主に顔検出への応用を目的とした手法で、予め作成した弱識別機を複数組み合わせ、識別器同士で互いの弱点を補い合い全体で一つの識別機を成す。但しこれらの手法のように研究者が手で特徴抽出手法を設計することについては、非常に多様な外観を持つタスクに対して完全に対処できる特徴量を得ることは難しい<ref name=":0" />し、最適である保証もない{{Sfn|藤吉|2019|p=293}}とされる。

=== 深層学習による革新 ===
画像認識の分野では物体検出に限らず、上述のSIFTのような研究者がタスクの性質を分析し手作業で設計された手法が支持されていた<ref name=":3" />。[[畳み込みニューラルネットワーク]]（CNN）を用いた手法は研究されていたものの、局所最適解を得られる保証がなかったり学習が収束する保証がなかったこともCNNが活用されなかった背景である<ref name=":4">{{Cite journal|author=Qingchen Zhang|year=2018|title=A survey on deep learning for big data|journal=Information Fusion|volume=42|page=|pages=146-157|DOI=10.1016/j.inffus.2017.10.006|ISSN=1566-2535}}</ref>。そうした状況の中、2012年にAlex Krizhevskyらが画像認識（画像分類）のコンテストである[[ImageNet|ILSVRC2012]]で提出した[[AlexNet|CNNを用いたシステム]]が、従来の画像認識システムを大幅に超える精度を記録した<ref name=":3" />。このシステムでは膨大な計算量を前提とし、大量のデータをニューラルネットワークの学習に用いるという特徴がある<ref name=":3" />。[[Graphics Processing Unit|GPU]]等の技術的な[[計算資源]]の向上も相まって<ref name=":4" />、[[深層学習]]の活用が現実味を帯びてきた。

画像分類タスクにおけるこうしたCNNの成功を物体検出の分野にも応用しようという動きがあり、[[2014年]]にはR-CNNと呼ばれる検出システムが発表された。これは従来から存在した物体候補領域提案（region proposal、動画像内の物体が存在しそうな領域を複数提案するもの）手法を動画像に施した後、それらの候補領域それぞれにCNNを用いてその領域に対象クラスの物体が存在するか、存在する場合にはその正確なBounding boxの座標を学習するものであった<ref name=":2" />。欠点として、前段の物体候補領域の提案にはCNNを用いていないことや、後段のクラス分類でも従来の機械学習手法であるSVMを用いていること、また候補領域の提案とクラス・Bounding boxの推論という二段構造になっていることによる推論速度の遅さ等があるが、こうした欠点の存在がその後の改善手法の提案に繋がっていった<ref name=":1" />。

=== 深層学習以降の進展 ===
R-CNNの発表後、その欠点を改良した検出システムが発表されていく。2014年に発表されたSPPNet<ref>{{Cite journal|author=K. He|year=2015|title=Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=37|issue=9|page=|pages=1904-1916|accessdate=2020-11-23|arxiv=1406.4729v4|DOI=10.1109/TPAMI.2015.2389824}}</ref>は、入力として固定サイズの画像しか受け取れないというR-CNNの欠点を解消した<ref name=":1" />。[[2015年]]に発表されたFast R-CNN<ref name=":5" />は、事前に画像全体に対してCNNを用いて特徴抽出を行い、そこに候補領域の情報を組み合わせることで、候補領域ごとにCNNを毎回適用しなければならないというR-CNNの欠点を解消した<ref name=":0" />。さらに2015年に提案されたFaster R-CNN<ref name=":6" />では、前段の物体候補領域提案の部分がボトルネックとなっていたことに注目し、新たに物体候補領域提案の部分をニューラルネットワークを用いて置き換えた（Region Proposal Network（RPN）と呼ばれる）。これによりシステム全体がニューラルネットワークを用いて学習できるようになり、大幅な高速化を達成した<ref name=":0" />。これ以降も、クラス分類・Bouding boxの座標推定に加え、Bounding box内の対象物体の領域を推定するブランチを追加し{{仮リンク|インスタンスセグメンテーション|en|image segmentation}}を行えるようにしたMask R-CNN<ref>{{Cite journal|author=Kaiming He|year=2018|title=Mask R-CNN|journal=ICCV2017|volume=|page=|accessdate=2020-11-23|arxiv=1703.06870}}</ref>等、R-CNNから続く2ステージの検出システムは幅広く研究が進んでいる<ref name=":0" />。

一方で、候補領域を予め抽出し、それについて検出・分類を行うという2ステージの検出システムは計算資源を要するため、特に[[携帯端末]]や[[ウェアラブルデバイス]]といった容量や計算資源の限られた端末での応用が難しいという課題がある<ref name=":1" />。そこで領域提案などを分離せず、入力からクラス分類・Bouding boxの座標推定までをエンドツーエンドで行う1ステージの検出システムの研究も進められている<ref name=":1" /><ref name=":0" />。[[2013年]]に発表されたOverFeat<ref>{{Cite journal|author=Sermanet, Pierre|year=2013|title=OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks|journal=International Conference on Learning Representations|volume=|page=}}</ref>は、ILSVRC2013の検出部門にて最高記録を達成する。OverFeatは圧倒的な処理速度を達成するが、一方でその精度は2ステージの検出システムであるR-CNNには及ばなかった。その要因としてはOverFeatに用いられる全畳込みニューラルネットワーク（fully convolutional network）{{Refnest|group="注釈"|クラス分類などに用いられる畳み込みニューラルネットワークでは、入力画像を徐々に畳み込みある程度サイズが小さくなったところで、全結合層と呼ばれる層を用いて、1次元の出力を得ることが多い<ref>{{Cite journal|last=Zhao|first=Rui|last2=Yan|first2=Ruqiang|last3=Chen|first3=Zhenghua|last4=Mao|first4=Kezhi|last5=Wang|first5=Peng|last6=Gao|first6=Robert X.|date=2019-01|title=Deep learning and its applications to machine health monitoring|url=https://linkinghub.elsevier.com/retrieve/pii/S0888327018303108|journal=Mechanical Systems and Signal Processing|volume=115|pages=213–237|language=en|doi=10.1016/j.ymssp.2018.05.050|arxiv=1612.07640|accessdate=2020-11-24}}</ref>。それに対してfully convolutional networkでは全結合層を用いない。そのため出力は1次元にならず空間的な情報が残るという特徴がある<ref>{{Cite journal|last=Long|first=Jonathan|last2=Shelhamer|first2=Evan|last3=Darrell|first3=Trevor|date=2015-06|title=Fully convolutional networks for semantic segmentation|url=http://ieeexplore.ieee.org/document/7298965/|journal=2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|pages=3431–3440|publisher=IEEE|location=Boston, MA, USA|doi=10.1109/CVPR.2015.7298965|isbn=978-1-4673-6964-0|arxiv=1411.4038|accessdate=2020-11-24}}</ref>。}}の学習が当時難しかったことが挙げられる<ref name=":1" />。ただ、OverFeatの特徴は後発のYOLOやSSDに引き継がれた<ref name=":1" />。[[2016年]]に発表されたYOLO<ref name=":7" />は、画像を任意のピクセルごとの[[格子|グリッド]]に区切り、グリッド毎に物体が存在する確率と物体が存在する場合の分類クラスを予測するというものである<ref name=":0" />。YOLOは処理速度で45[[フレームレート|fps]]を記録した{{Refnest|group="注釈"|2ステージ系のFaster R-CNNの処理速度は5fpsである<ref name=":6" />。}}。ただしグリッド毎に予測するという性質上、2ステージのFaster R-CNNと比べると位置の正確性は低くなった。特に1つのグリッド内に複数の物体がある場合の検出力が低いという欠点がある<ref name=":1" />。2016年に発表されたSingle Shot MultiBox Detector（SSD）<ref name=":8" />は、Faster R-CNNに用いられたRPNの考え方を持ち込んだもので、YOLOと比較して処理速度がさらに向上するとともに、精度面でもFaster R-CNNと同等の精度を達成した<ref name=":1" />。[[2019年]]に発表されたEfficientDet<ref name=":9">{{Cite journal|author=Mingxing Tan|year=2020|title=EfficientDet: Scalable and Efficient Object Detection|journal=CVPR2020|volume=|page=|pages=10778-10787|arxiv=1911.09070|DOI=10.1109/CVPR42600.2020.01079}}</ref>等、1ステージ系でありながら条件によっては2ステージ系のMask R-CNNの精度を上回る<ref name=":9" />システムも出てきている。

== 手法 ==
[[ファイル:Comparison_of_speed_and_accuracy_of_detectors.png|サムネイル|Microsoft COCO testdevデータセット<nowiki/>http://mscoco.org<nowiki/>を用いた場合の、様々な検出器<ref name="yolov4">{{Cite arXiv|arxiv=2004.10934|class=cs.CV|last=Bochkovskiy|first=Alexey|title=Yolov4: Optimal Speed and Accuracy of Object Detection|date=2020}}</ref>の処理速度と精度の比較（全ての値は、これらのアルゴリズムの作成者による[https://arxiv.org https://arxiv.org]の記事に記載されている）]]
物体検出の手法は一般に、従来の[[機械学習]]ベースのアプローチまたは[[深層学習]]ベースのアプローチのいずれかに分類される。従来の機械学習をベースにしたアプローチの場合、まず以下のリストにあるような手法を用いて動画像内の「特徴」を定義し、その上で[[サポートベクターマシン]]（SVM）などの手法を使用してそれらの特徴が対象物体かそうでないかを分類する必要がある<ref name=":1" />。一方、深層学習を用いた手法では、「特徴」を具体的に定義せずともエンドツーエンドで物体検出を行うことができる<ref name=":1" />。通常、[[畳み込みニューラルネットワーク]]（CNN）を用いることが多い。2012年に深層学習がクラス分類タスクで大きな成功を収めて以降は、物体検出においても深層学習によるアプローチが主流となっている<ref name=":0" /><ref name=":1" />。

===古典的な機械学習によるアプローチ===
先述したように、古典的な機械学習をベースにしたアプローチでは、まず画像から特徴量を抽出し、その特徴量を用いてマッチングを行うなどして物体を検出する<ref name=":1" />{{Sfn|内田|2012|p=13}}。以下では特に検出手法について断りがない限り、前者の「画像から特徴量を抽出する」手法について述べている。
; {{仮リンク|Haar-Like特徴|en|Haar-like feature}}に基づく{{仮リンク|Viola–Jones物体検出フレームワーク|en|Viola–Jones object detection framework}}<ref>{{Cite journal|last=Viola|first=P.|last2=Jones|first2=M.|date=2001|title=Rapid object detection using a boosted cascade of simple features|url=http://ieeexplore.ieee.org/document/990517/|journal=Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001|volume=1|pages=I–511–I-518|publisher=IEEE Comput. Soc|location=Kauai, HI, USA|doi=10.1109/CVPR.2001.990517|isbn=978-0-7695-1272-3}}</ref>
: Haar-Like特徴量は2001年に提案された、主に{{仮リンク|顔検出|en|face detection}}に用いられる特徴量である{{Sfn|藤吉|2019|p=292}}。矩形領域内の平均[[輝度 (光学)|輝度]]の差に基づく特徴量で<ref>{{Cite journal ja|last=森川|first=健一郎|last2=村松|first2=大吾|last3=小方|first3=博之|year=2012|title=Haar-like特徴とエッジ検出を用いた仮名漢字領域アルゴリズムの開発|journal=精密工学会学術講演会講演論文集|volume=2012年度精密工学会春季大会|pages=759-760|publisher=精密工学会|DOI=10.11522/pscjspe.2012S.0.759.0}}</ref>、人間の顔の場合は一般的に鼻筋や頬が明るく、逆に目や口は暗いという共通の特徴があることに着目し、これを捉えるために画像内の明暗の差を特徴としたものである{{Sfn|藤吉|2019|p=292}}。この特徴を用いた単純な識別器を大量に生成、選別し、それらを[[カスケード]]状に接続(直列に接続すること<ref>{{Cite journal|和書|author1=稲垣宏樹 |author2=江口一彦 |url=https://hdl.handle.net/11133/1454 |title=ドライブレコーダーからの歩行者認識技術の研究 |journal=愛知工業大学研究報告 |publisher=愛知工業大学 |issn=18833217 |date=2010 |issue=45 |pages=95-101 |naid=40017333781}}</ref>)して顔の位置を検出する手法がHaar-Like特徴と同時に提案されている<ref>{{Cite journal ja|last=山内|first=悠嗣|last2=山下|first2=隆義|last3=藤吉|first3=弘亘|year=2013|date=2013年9月|title=画像からの統計的学習手法に基づく人検出|journal=電子情報通信学会論文誌|volume=96|issue=9|pages=2017-2040|issn=18804535}}</ref>。
; {{仮リンク|スケール不変特徴量変換|label=スケール不変特徴量変換 (SIFT)|en|Scale-invariant feature transform}}<ref name="Lowe1999">{{Cite journal|last=Lowe|first=D.G.|date=1999|title=Object recognition from local scale-invariant features|url=http://ieeexplore.ieee.org/document/790410/|journal=Proceedings of the Seventh IEEE International Conference on Computer Vision|pages=1150–1157 vol.2|publisher=IEEE|location=Kerkyra, Greece|doi=10.1109/ICCV.1999.790410|isbn=978-0-7695-0164-2}}</ref>
:画像のスケール変換や回転に不変な特徴量を抽出する手法。特徴点を検出する[[キーポイント検出]]と、検出された特徴点に対し回転不変な特徴量を記述する特徴量記述の二段構成になっている{{Sfn|FUJIYOSHI|AMBAI|2011|p=1109}}{{Sfn|佐川|2012|p=6}}。SIFTの発表後、SIFTが抱える課題を解決するための派生手法が複数提案され、処理の高速化・省メモリ化が図られている{{Sfn|FUJIYOSHI|AMBAI|2011|p=1115}}。
; {{仮リンク|HOG特徴量|en|Histogram of oriented gradients}}<ref>{{Cite journal|last=Dalal|first=Navneet|date=2005|title=Histograms of oriented gradients for human detection|url=https://hal.inria.fr/file/index/docid/548512/filename/hog_cvpr2005.pdf|journal=Computer Vision and Pattern Recognition|volume=1}}</ref>
: 2005年に提案された、人に共通する特徴を捉えるための特徴量{{Sfn|藤吉|2019|p=292}}。SIFT同様一定領域まわりの輝度勾配に基づく特徴量であるが、SIFTが特徴点に着目するのに対しHOG特徴量は領域矩形内の輝度勾配を用いるため物体形状を表現することが可能であり{{Sfn|藤吉|2008|p=14}}、{{仮リンク|歩行者検出|en|pedestrian detection|label=人検出}}に限らず用いられている{{Sfn|藤吉|2019|p=292}}{{Sfn|藤吉|2008|p=14}}。

===深層学習によるアプローチ===
[[File:Object detector 1stage vs 2 stage.png|thumb|深層学習を用いた物体検出器の概念図。(a)が2ステージ系の一般的な構造を、(b)が1ステージ系の一般的な構造を表している。]]
; 領域提案（'''R-CNN'''<ref name=":2">{{Cite journal|last=Ross|first=Girshick|date=2014|title=Rich feature hierarchies for accurate object detection and semantic segmentation|url=https://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Girshick_Rich_Feature_Hierarchies_2014_CVPR_paper.pdf|journal=Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition|volume=|pages=580–587|publisher=IEEE|arxiv=1311.2524|DOI=10.1109/CVPR.2014.81|ISBN=978-1-4799-5118-5}}</ref>、Fast R-CNN<ref name=":5">{{Cite journal|last=Girschick|first=Ross|date=2015|title=Fast R-CNN|url=https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf|journal=Proceedings of the IEEE International Conference on Computer Vision|volume=|pages=1440–1448|arxiv=1504.08083|bibcode=2015arXiv150408083G}}</ref>、Faster R-CNN<ref name=":6">{{Cite journal|last=Shaoqing|first=Ren|date=2015|title=Faster R-CNN|journal=Advances in Neural Information Processing Systems|volume=|pages=|arxiv=1506.01497}}</ref> 、cascade R-CNN<ref>{{Cite journal|last=Cai|first=Zhaowei|last2=Vasconcelos|first2=Nuno|date=2019|title=Cascade R-CNN: High Quality Object Detection and Instance Segmentation|url=https://ieeexplore.ieee.org/document/8917599/|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|pages=1–1|doi=10.1109/TPAMI.2019.2956516|issn=0162-8828}}</ref>）
: R-CNNは2014年に提案された手法であり、CNNを用いた検出器としては初めて、それまで用いられていたHOG特徴量をベースとする検出器よりも高い性能を出すことを示した。以降の深層学習を用いた様々な手法の先駆けであり、一般物体検出の進展に大きな影響を与えた{{Sfn|Jiao|2019|p=128839}}。R-CNNはまず画像内から物体領域の候補となる領域を生成し、その各候補領域に対してCNNを用いて物体かどうかを判定するというものである<ref name="Yadav2017">{{Cite journal|author=Nikhil Yadav|last2=Binay|first2=Utkarsh|year=2017|title=Comparative Study of Object Detection Algorithms|url=https://d1wqtxts1xzle7.cloudfront.net/55203666/IRJET-V4I11103.pdf?1512469385=&response-content-disposition=inline%3B+filename%3DComparative_Study_of_Object_Detection_Al.pdf&Expires=1617003839&Signature=E8jjGRsWN6osFxMBC2fzvtRjJSIfxTrJOtUdZInsjMx7UTDSE0d7Lit4V2A2Nq~Ga2bnlHeLm-L4yJHqHpZCJsFgS~AwuRChabelJr1a25~gdqWWX6m~EvxT7RumAyoL1bVXF43DUal0CwKXE29atnt~qj78TuzBs2FIL0XdnMi6QPlduUBYVGzXPqxVvgqHJtr6Ms11aLbKtcTARRPKXbOxp48iQAJelW4ARNXg52o63d5ZawX867R0dcq~Vfy6H8EXUmdc-vX4-p0C5Db654kpxTMjejRmvCDYeEVObo3gQ5lhmuN4MtnW35vHwv6USdXfwqQA9qjcBo479ZxF2A__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZA|journal=International Research Journal of Engineering and Technology (IRJET)|volume=4|issue=11|pages=586-591|accessdate=2021-03-29|format=PDF|issn=2395-0056}}</ref>。派生手法であるFast R-CNNやFaster R-CNNも同様の構造を引き継ぎ、ボトルネックになっていた部分にCNNを新たに適用できるようにしたり、複数回適用していた処理を一度にできるように改良したものである<ref name="Yadav2017" />。
; You Only Look Once（YOLO）<ref name=":7">{{Cite journal|last=Redmon|first=Joseph|date=2016|title=You only look once: Unified, real-time object detection|journal=Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition|arxiv=1506.02640|bibcode=2015arXiv150602640R}}</ref><ref>{{Cite arXiv|arxiv=1612.08242|class=cs.CV|last=Redmon|first=Joseph|title=YOLO9000: better, faster, stronger|date=2017}}</ref><ref>{{Cite arXiv|arxiv=1804.02767|class=cs.CV|last=Redmon|first=Joseph|title=Yolov3: An incremental improvement|date=2018}}</ref><ref name="yolov4">{{Cite arXiv|arxiv=2004.10934|class=cs.CV|last=Bochkovskiy|first=Alexey|title=Yolov4: Optimal Speed and Accuracy of Object Detection|date=2020}}</ref>
:2016年に発表された手法。画像全体を小さな[[格子|グリッド]]に分割し、各グリッドに対して物体が存在するかどうかを判定する。物体が存在する場合にはその物体を囲む矩形のサイズとそのクラスを推論する{{Sfn|Wu|Sahoo|Hoi|2020|p=9}}。処理の過程で、R-CNN系であったような物体候補領域を生成する必要がないため、入力から出力まで1ステージで行えることが特徴である{{Sfn|Wu|Sahoo|Hoi|2020|p=9}}{{Sfn|Aziz|Haji Salam|Sheikh|Ayub|2020|p=170472}}。推論処理で45FPSを達成する等速度が向上した{{Sfn|Aziz|Haji Salam|Sheikh|Ayub|2020|p=170473}}半面、小さな物体の認識が苦手であったり、異なるスケールやアスペクト比を持つ物体の認識が苦手という欠点もある{{Sfn|Wu|Sahoo|Hoi|2020|p=9}}。
; Single Shot MultiBox Detector（SSD）<ref name=":8">{{Cite book|last=Liu|first=Wei|title=Computer Vision – ECCV 2016|chapter=SSD: Single shot multibox detector|journal=European Conference on Computer Vision|volume=9905|date=October 2016|pages=21–37|arxiv=1512.02325|doi=10.1007/978-3-319-46448-0_2|series=Lecture Notes in Computer Science|isbn=978-3-319-46447-3}}</ref>
:2016年に発表された手法。YOLOが抱える課題に対応して改良された1ステージ系の手法。YOLOでは物体位置の推定にネットワークの最終層で得られる特徴量しか用いなかったのに対し、SSDでは入力に近い層の特徴量も用いたことが特徴で、より小さいサイズの物体の検出にも対応できるようになった{{Sfn|Wu|Sahoo|Hoi|2020|p=10}}{{Sfn|Aziz|Haji Salam|Sheikh|Ayub|2020|p=170474}}。また、複数のアスペクト比を持つ矩形内で畳み込みを行うことで、異なるスケール・アスペクト比を持つ物体の検出にも頑健になった{{Sfn|Wu|Sahoo|Hoi|2020|p=9-10}}。
; Single-Shot Refinement Neural Network for Object Detection (RefineDet) <ref name="Zhang2017">{{Cite journal|last=Zhang|first=Shifeng|date=2018|title=Single-Shot Refinement Neural Network for Object Detection|journal=Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition|pages=4203–4212|arxiv=1711.06897|bibcode=2017arXiv171106897Z}}</ref>
:2017年に発表された手法。1ステージの手法で、前半のブロックで物体の有無及びおおまかな位置を検出し、後半のブロックで具体的な物体位置やクラスまで検出する<ref name="Zhang2017" />。この2ブロックは接続されており、全体としてはend-to-endで学習ができる{{Sfn|Aziz|Haji Salam|Sheikh|Ayub|2020|p=170475}}。設計者は2ステージ型の検出器の機構を参考にしたと述べており<ref name="Zhang2017" />、このように2つのステップを設けることで、より正確な位置を検出することができる{{Sfn|Aziz|Haji Salam|Sheikh|Ayub|2020|p=170475}}。
; Retina-Net<ref name="RetinaNet" /><ref name="Pang Chen Shi Feng 2019">{{Cite arXiv|arxiv=1904.02701v1|class=cs.CV|last=Pang|first=Jiangmiao|last2=Chen|first2=Kai|title=Libra R-CNN: Towards Balanced Learning for Object Detection|date=2019-04-04}}</ref>
: 2018年に発表された検出モデル。検出タスクについては、検出対象となる前景よりもそれ以外の背景の出現頻度が非常に高いという特徴があり<ref name="RetinaNet">{{Cite journal|last=Lin|first=Tsung-Yi|year=2020|title=Focal Loss for Dense Object Detection|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=42|issue=2|pages=318–327|arxiv=1708.02002|bibcode=2017arXiv170802002L|DOI=10.1109/TPAMI.2018.2858826|PMID=30040631}}</ref>、それを解決するために、検出が難しい事例をより重視してモデルの最適化に反映するFocal lossと呼ばれる[[損失関数]]を導入したことが特徴<ref>{{Cite journal|last=Lin|first=Tsung-Yi|year=2020|title=Focal Loss for Dense Object Detection|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=42|issue=2|pages=318–327|arxiv=1708.02002|bibcode=2017arXiv170802002L|DOI=10.1109/TPAMI.2018.2858826|PMID=30040631}}</ref><ref name="Mamdhala2020">{{Cite journal|last=Mandhala|first=Venkata Naresh|last2=Bhattacharyya|first2=Debnath|last3=B.|first3=Vamsi|last4=Rao N.|first4=Thirupathi|date=2020|title=Object Detection Using Machine Learning for Visually Impaired People|url=https://doi.org/10.31782/IJCRR.2020.122032|journal=International Journal of Current Research and Review|volume=12|issue=20|pages=157–167|doi=10.31782/ijcrr.2020.122032|issn=2231-2196}}</ref>。モデルの構造は1ステージの検出器とFeature Pyramid Network(FPN)と呼ばれる物体検出で標準的に用いられる特徴抽出器を組み合わせたもの<ref name="Mamdhala2020" />で、開発者は従来の2ステージ系の検出器と同等の精度を達成したとしている<ref name="RetinaNet" />。
; Deformable convolutional networks（DCN）<ref>{{Cite arXiv|arxiv=1811.11168|class=cs.CV|last=Zhu|first=Xizhou|title=Deformable ConvNets v2: More Deformable, Better Results|date=2018}}</ref><ref>{{Cite arXiv|arxiv=1703.06211|class=cs.CV|last=Dai|first=Jifeng|title=Deformable Convolutional Networks|date=2017}}</ref>
: 2017年に発表された手法。通常の畳み込みニューラルネットワークを用いる場合、正方形あるいは長方形であるフィルタの形状に検出能力が制約されてしまう。そこで本手法では、フィルタを変形可能なネットワークを設計し、物体検出と同時にフィルタの変形具合も学習する{{Sfn|Wu|Sahoo|Hoi|2020|p=20}}ことで、物体の形状をより的確に認識できるようにしている{{Sfn|Aziz|Haji Salam|Sheikh|Ayub|2020|p=170476}}。

== データセット ==
機械学習においては主にモデルの学習とその評価について、{{仮リンク|データセット (機械学習)|en|Training,_validation,_and_test_sets|label=データセット}}を用いる{{Sfn|柳井|2007|p=8}}。
一般に提案手法を公平に評価するため、一定の難易度がある[[データセット]]を[[ベンチマーク#プログラミング作業におけるベンチマーク|ベンチマーク]]として用いることは重要である{{Sfn|Jiao|2019}}。また[[深層学習]]は大量の学習データを必要とするが、一般に物体検出のためのラベル付けは画像分類のラベル付けと比べると、画像に含まれる物体の種別を選択するだけでなく、その位置まで特定して描画する必要があり難易度がより高い<ref name="Su2012">{{Cite report |author=Hao Su, Jia Deng, Li Fei-Fei|authorlink= |date= |title=Crowdsourcing Annotations for Visual Object Detection|url= https://www.aaai.org/ocs/index.php/WS/AAAIW12/paper/view/5350|publisher= [[AAAI|HCOMP@AAAI 2012]]|pages=40-46|docket= |accessdate=2021-03-24|quote= }}</ref>。また、バウンディングボックスの付与はより物体領域を正確に囲うほど良いため、品質とコストの釣り合いを取ることが難しい<ref name="Su2012" />。機械学習全体の課題として大規模なデータセットを単独で構築することが難しいということもあり{{Sfn|柳井|2007|p=16}}、ラベル付けが行われた大量のデータにオンラインでアクセスできる環境が整うことで研究・開発が進むという側面もある<ref name=":1" />。例えば[[2017年]]に発表された顔検出のためのデータセットであるUMD Faces<ref name=":13">{{Cite journal|author=Ankan Bansal|year=2017|title=UMDFaces: An Annotated Face Dataset for Training Deep Networks|journal=2017 IEEE International Joint Conference on Biometrics (IJCB)|volume=|page=|pages=464-473|accessdate=2020-11-23|arxiv=1611.01484|DOI=10.1109/BTAS.2017.8272731}}</ref>というデータセットは、従来の大規模なデータセットの中には公表されていないものもあり、特に研究機関が自由にアクセスできる動画を含むデータセットを作成することを一つの目的として発表したとしている<ref name=":13" />。また特に研究が盛んな特定の分野では、その分野に特有の物体を詳細にラベル付けしたデータセットが作成されることもある<ref name=":0" />。
<!-- 
LabelMeプロジェクトのようなクラウドアノテーションや自動アノテーションについても軽く触れる。 -->
以下では一般物体検出のためのデータセットに加え、分野別のデータセットについても述べる。

=== 一般物体検出 ===
動画像に多く出現する一般的な物体を広範なカテゴリに分類して取り揃えたデータセットを紹介する。
{| class="wikitable"
|+一般物体検出　データセット一覧
!名称
!発表年
!枚数
!クラス数<ref group="注釈">物体検出においては、識別対象となる物体種別の数を表す。例えば4クラスのデータセットという場合、4種類の物体(とそれらに該当しない背景)がラベル付けされていることを意味する。</ref>
!特徴・備考
|-
|Pascal VOC<ref name=":16">{{Cite journal|author=Mark Everingham|year=2015|title=The PASCAL Visual Object Classes Challenge: A Retrospective|journal=International Journal of Computer Vision|volume=111|page=|pages=98–136|DOI=10.1007/s11263-014-0733-5}}</ref>
|2005
|11,540
|20
|2005年に4クラスでスタートした後、現在の20クラスに増加。後発のデータセットに比べて小規模<ref name=":1" />。
|-
|ImageNet<ref name=":17">{{Cite journal|author=Jia Deng|year=2009|title=ImageNet: A large-scale hierarchical image database|url=https://www.researchgate.net/profile/Li_Jia_Li/publication/221361415_ImageNet_a_Large-Scale_Hierarchical_Image_Database/links/00b495388120dbc339000000/ImageNet-a-Large-Scale-Hierarchical-Image-Database.pdf|journal=2009 IEEE Conference on Computer Vision and Pattern Recognition|volume=|page=|pages=248-255|accessdate=2020-11-23|format=pdf|DOI=10.1109/CVPR.2009.5206848}}</ref>
|2009
|1,400万枚以上
|21,841
|サブセットであるImageNet1000は、コンペティションのベンチマークのデータセットとして使用されている<ref name=":1" />。
|-
|MS COCO<ref name=":14">{{Cite journal|author=Tsung-Yi Lin|year=2014|title=Microsoft COCO: Common Objects in Context|journal=ECCV2014|volume=|page=|pages=740–755|accessdate=2020-11-23|arxiv=1405.0312|DOI=10.1007/978-3-319-10602-1_48}}</ref>
|2014
|約328,000
|91
|ImageNetが実世界に適応できないとの批判に対応し、小さな物体を多く含んだり遮蔽物（オクルージョン）が多いという改善を施したデータセット<ref name=":14" />。2019年現在、物体検出におけるベンチマークの標準とされる<ref name=":1" />。
|-
|OpenImage<ref name=":15">{{Cite journal|author=Alina Kuznetsova|year=2020|title=The Open Images Dataset V4|journal=ICCV|volume=128|issue=40|page=|accessdate=2020-11-23|arxiv=1811.00982|DOI=10.1007/s11263-020-01316-z}}</ref>
|2017
|約900万枚
|600
|2019年現在、最大規模のデータセット<ref name=":1" />。ラベル付与を半自動化し、人間の目でそれらをチェックしている<ref name=":15" />のが特徴。
|}

=== 顔検出 ===
顔認識は本人認証のための[[生体認証]]技術であり、同時に[[軍事]]、[[保安|セキュリティ]]など多くの分野に応用されている技術<ref>{{Cite journal|author=Iacopo Masi|year=2018|title=Deep Face Recognition: A Survey|journal=2018 31st SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI)|volume=|page=|pages=471-478|accessdate=2020-11-23|arxiv=1804.06655|DOI=10.1109/SIBGRAPI.2018.00067}}</ref>である。一般物体検出タスクと比較して、より広い範囲のスケールの対象物を認識する必要があること、一口に顔といってもパーツの配置や肌の色の違い等によって同じものが一つとして存在しないことといった違いがある<ref name=":0" />。
{| class="wikitable"
|+顔検出　データセット一覧
!名称
!発表年
!枚数
!特徴・備考
|-
|UMD Faces - Video<ref>{{Cite journal|author=Ankan Bansal|year=2017|title=The Do’s and Don’ts for CNN-based Face Verification|journal=2017 IEEE International Conference on Computer Vision Workshops (ICCVW)|volume=|page=|pages=2545-2554|accessdate=2020-11-23|arxiv=1705.07426|DOI=10.1109/ICCVW.2017.299}}</ref>
|2017
|22,075
|動画を含む
|-
|MegaFace<ref>{{Cite journal|author=Aaron Nech|year=2017|title=Level Playing Field for Million Scale Face Recognition|journal=2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|volume=|page=|pages=3406-3415|DOI=10.1109/CVPR.2017.363}}</ref>
|2017
|約470万
|
|-
|MS-Celeb-1M<ref>{{Cite journal|author=Yandong Guo|year=2016|title=MS-Celeb-1M: A Dataset and Benchmark for Large-Scale Face Recognition|journal=ECCV 2016|volume=|page=|accessdate=2020-11-23|arxiv=1607.08221|DOI=10.1007/978-3-319-46487-9_6}}</ref>
|2016
|約100万
|[[マイクロソフト|Microsoft]]が開催した[[コンペティション]]で使用されたデータセット
|}
=== 道路シーン ===
物体検出の実世界への応用分野の一つとして[[オートパイロット|自動運転]]が挙げられる。これは自動運転において、道路上の[[交通信号機|信号機]]や[[道路標識|標識]]を認識することが必要だからである<ref>{{Cite journal|author=Alex Pon|year=2018|title=A Hierarchical Deep Architecture and Mini-batch Selection Method for Joint Traffic Sign and Light Detection|journal=2018 15th Conference on Computer and Robot Vision (CRV)|volume=|page=|pages=102-109|accessdate=2020-11-23|arxiv=1806.07987|DOI=10.1109/CRV.2018.00024}}</ref>。以下では標識や信号機を含むデータセットを挙げている。
{| class="wikitable"
|+道路シーン　データセット一覧
!名称
!発表年
!枚数
!クラス数
!特徴・備考
|-
|CityScapes<ref>{{Cite journal|author=M. Cordts|year=2016|title=The Cityscapes Dataset for Semantic Urban Scene Understanding|journal=IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016|volume=|page=}}</ref>
|2016
|約5,000
|30
|[[ドイツ]]の各都市の道路シーン画像を収集　セグメンテーションラベルが付与されている
|-
|KITTI<ref>{{Cite journal|author=Andreas Geiger|year=2012|title=Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite|journal=Conference on Computer Vision and Pattern Recognition (CVPR)2012|volume=|page=}}</ref>
|2012
|約15,000
|16
|他に[[オプティカルフロー|Optical Flow]]の情報や、[[3Dモデル|3次元]]のアノテーションが付与されたデータも存在する
|-
|LISA<ref>{{Cite journal|author=Andreas Mogelmose|year=2012|title=Vision-Based Traffic Sign Detection and Analysis for Intelligent Driver Assistance Systems: Perspectives and Survey|journal=IEEE Transactions on Intelligent Transportation Systems|volume=13|issue=4|page=|pages=1484-1497|DOI=10.1109/TITS.2012.2209421}}</ref>
|2012
|約6,610
|47
|[[アメリカ合衆国|アメリカ]]で撮影された道路シーン　動画を含むバージョンも存在する
|}

== 評価指標 ==
{{multiple image
 | direction        = vertical
 | width             = 300
 | image1          = Intersection over Union - object detection bounding boxes.jpg
 | image2          = Intersection over Union - visual equation.png
 | image3          = Intersection over Union - poor, good and excellent score.png
 | footer            = 物体検出タスクにおけるIoUの計算例。
}}
物体検出システムの性能を測る指標としては、大きく2つの視点から挙げることができる。1つが処理速度であり、もう1つが精度である。特に処理速度を測る指標としてフレームパー毎秒([[フレームレート|FPS]])、[[精度 (算術)|精度]]を測る指標として{{仮リンク|適合率と再現率|en|Precision and Recall}}がある<ref name=":1" />。以上の指標は物体検出に限らず用いられる指標であるが、物体検出に特有の数値として{{仮リンク|label=IoU|ジャッカード係数|en|Jaccard index}}(Intersection over Union)がある。これはある推定結果と対応する正解がどの程度重なっているかを表す数値であり、完全に一致しているときには1、全く重なる部分がないときには0となる。実際の検出システムでは完全に正解と一致する結果を得ることは困難であるため、実運用評価の際にはこのIoUが一定値以上の結果を正解とみなし精度を測ることになる{{Sfn|Jiao|2019}}<ref name=":1" />。また、適合率と再現率の他に、これらを組み合わせた平均適合率（''Average Precision, AP''）も用いられることが多い<ref name=":1" />。推論時には推論した結果とともにどの程度の確からしさでその検出結果を得たかという指標も返されるが、この確からしさも用いて計算される指標である。適合率と再現率は一般に[[トレードオフ]]の関係にある（後述）<ref name=":12">{{Cite journal|author=Powers, David|year=2011|title=Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation|url=|journal=J. Mach. Learn. Technol|volume=2|page=|pages=|accessdate=2020-11-23|arxiv=2010.16061|DOI=10.9735/2229-3981}}</ref>ため、双方の要素を取り込んだ平均適合率が使われる<ref name=":1" />。

* 適合率（Presicion）

一般に以下の式で計算される。ここで、TPは推論結果の中で実際に正解しているもの、FPは推論結果の中で実際には正解でないものの個数である。

<math>\mathsf{Precision} = \frac{TP}{TP+FP}</math>

適合率は推論結果のうち正解がどれだけ含まれているか、すなわち「どれだけ正解でないものを誤って正解と検出しないか」を表す指標である。

* 再現率（Recall）

一般に以下の式で計算される。ここで、FNは検出しなかったものの実際には正解であるような見逃した個数を表す。

<math>\mathsf{Recall} = \frac{TP}{TP+FN}</math>

再現率は全ての正解として扱われるべきものの中で実際にどれだけ推論できたか、すなわち「どれだけ正解を見逃さなかったか」を表す指標である。式からも明らかであるが、見逃しを減らすためにより多くのものを検出しようとすればするほど再現率は高まるが、その分本来正解でないものを正解としてしまうパターンが増えるため適合率は下がりがちである。他方で、過検出を減らすために検出結果を絞り込むと適合率は高まるが、その分本来正解であるべきものを見逃すパターンが増えるため再現率は下がりがちである。すなわち、適合率と再現率はトレードオフの関係にある<ref name=":12" />。

== 課題 ==
本節では物体検出における課題を挙げる。なお、2020年現在物体検出の研究は[[深層学習]]を用いたものが主であり、本節で挙げる課題も深層学習を用いることを前提としているものが多い。

=== 回転 ===
DNNは入力画像に幾何的な変換を加えた場合、得られる特徴マップは不変ではない<ref name=":18">{{Cite journal|author=Karel Lenc|year=2015|title=Understanding image representations by measuring their equivariance and equivalence|url=https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Lenc_Understanding_Image_Representations_2015_CVPR_paper.pdf|journal=2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|volume=|page=|pages=991-999|accessdate=2020-11-23|format=pdf|DOI=10.1109/CVPR.2015.7298701}}</ref>。[[平行移動]]的な幾何学変化にはある程度強いものの、回転やスケールの変化などが大きいと結果が変化してしまう<ref name=":1" />。そのため、幾何的なロバスト性を獲得するために様々な手法が提案されている<ref name=":18" />。回転変換へのロバスト性については、[[光学文字認識|テキスト認識]]<ref>{{Cite journal|author=Jianqi Ma|year=2018|title=Arbitrary-Oriented Scene Text Detection via Rotation Proposals|journal=IEEE Transactions on Multimedia|volume=20|issue=11|page=|pages=3111-3122|accessdate=2020-11-23|arxiv=1703.01086|DOI=10.1109/TMM.2018.2818020}}</ref>や[[空中写真|航空画像]]からの検出<ref>{{Cite journal|author=Jian Ding|year=2019|title=Learning RoI Transformer for Oriented Object Detection in Aerial Images|journal=2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)|volume=|page=|pages=2844-2853|accessdate=2020-11-23|arxiv=1812.00155|DOI=10.1109/CVPR.2019.00296}}</ref>といった分野では研究例があり、データセットが作成された例<ref>{{Cite journal|author=Gui-Song Xia|year=2018|title=DOTA: A Large-Scale Dataset for Object Detection in Aerial Images|journal=2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition|volume=|page=|pages=3974-3983|accessdate=2020-11-23|arxiv=1711.10398|DOI=10.1109/CVPR.2018.00418}}</ref><ref>{{Cite journal|author=Zikun Liu|year=2017|title=A High Resolution Optical Satellite Image Dataset for Ship Recognition and Some New Baselines|journal=the 6th International Conference on Pattern Recognition Applications and Methods (ICPRAM)|volume=1|page=|pages=324-331|DOI=10.5220/0006120603240331}}</ref>もある。一方で、一般物体に関する大規模データセットは回転画像を含んでいない<ref name=":16" /><ref name=":17" /><ref name=":14" /><ref name=":15" />ため、一般物体についての研究は限られている<ref name=":1" />。

=== 障害物（オクルージョン） ===
実世界の画像にはしばしば、対象物体を遮蔽するような障害物が存在することがあり、対象物体からの情報を損なってしまう<ref name=":1" />。対策手法として、予めオフセット<ref group="注釈">一定の値だけ座標をずらすこと。</ref>を見込んだ[[畳み込み]]、プーリング{{Refnest|group="注釈"|ダウンサンプリング手法の1つ。機械学習でよく使われる例としては、平均値プーリングや最大値プーリングと呼ばれるものがある<ref>{{Cite journal|last=長瀬|first=准平|last2=石渡|first2=哲哉|year=2019|date=2019-06-01|title=スキップ接続によるプーリング層の構成および表現力に基づくそれらのモデルの解析|journal=人工知能学会全国大会論文集|volume=JSAI2019|pages=1-4|DOI=10.11517/pjsai.JSAI2019.0_1Q3J202}}</ref>。それぞれ例えば周辺2x2の範囲のグリッド内の値の平均値や最大値を代表として1つのグリッドに押し込むことで、特徴マップの全体のサイズをこの場合では1/4に圧縮することができる。これにより、画像全体に散らばった特徴を圧縮することができる。}}を行うもの<ref>{{Cite journal|author=Jifeng Dai|year=2017|title=Deformable Convolutional Networks|journal=2017 IEEE International Conference on Computer Vision (ICCV)|volume=|page=|pages=764-773|accessdate=2020-11-23|arxiv=1703.06211|DOI=10.1109/ICCV.2017.89|issn=2380-7504}}</ref>が挙げられる。また、[[敵対的生成ネットワーク|GAN]]等の[[ニューラルネットワーク#生成モデル/統計モデル|生成ネットワーク]]を用いて障害物を意図的に作る手法も提案されている<ref>{{Cite journal|author=Xiaolong Wang|year=2017|title=A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection|journal=2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|volume=|page=|pages=3039-3048|accessdate=2020-11-23|arxiv=1704.03414|DOI=10.1109/CVPR.2017.324}}</ref>が、オクルージョンを巡る課題はまだ解決されていない<ref name=":1" />。

=== 画像の劣化 ===
画像に生じる[[ノイズ]]も課題の一つである。原因として、照明条件、[[画像圧縮]]によるもの、安価な端末を用いることによるもの等が挙げられる<ref name=":1" />。しかしこれまで作られた大規模データセットは高画質であることが前提であり、従来手法もこれらの画像の劣化を考慮していないことが多い<ref name=":1" />。

この他にも、物体検出に固有の課題として、検出対象でない「背景」に分類されるクラスが圧倒的に多くなってしまうという、クラス間での正解数のアンバランス等が挙げられる<ref name=":1" />{{Sfn|Wu|Sahoo|Hoi|2020|p=20}}。

== 脚注 ==
{{脚注ヘルプ}}
=== 注釈 ===
{{Notelist}}
=== 出典 ===
{{Reflist|30em}}

== 参考文献 ==
* {{Cite web ja|url=https://www.ieice-hbkb.org/files/02/02gun_02hen_02.pdf#page=2|title=2群（画像・音・言語）-- 2編（パターン認識とビジョン）2章 画像特徴抽出・照合 2-1 特徴抽出|accessdate=2021-03-23|publisher=電子情報通信学会|format=PDF|last=佐川|first=立昌|author2=石川博|work=知識の森|pages=2-8|ref={{SfnRef|佐川|2012|}}|date=2012}}
* {{Cite web ja|url=https://www.ieice-hbkb.org/files/02/02gun_02hen_02.pdf#page=9|title=2群（画像・音・言語）-- 2編（パターン認識とビジョン）2章 画像特徴抽出・照合 2-2 特徴照合|accessdate=2021-03-23|publisher=電子情報通信学会|format=PDF|last=内田|first=誠一|author2=石川博|work=知識の森|pages=9-21|ref={{SfnRef|内田|2012|}}|date=2012}}
* {{Cite journal2|df=ja|last=FUJIYOSHI|first=Hironobu|last2=AMBAI|first2=Mitsuru|date=2011|title=Gradient-based Image Local Features|url=https://doi.org/10.2493/jjspe.77.1109|journal=Journal of the Japan Society for Precision Engineering|volume=77|issue=12|pages=1109–1116|doi=10.2493/jjspe.77.1109|issn=0912-0289}}
* {{Cite journal ja|last=藤吉|first=弘亘|year=2019|date=April 2019|title=リレー解説　機械学習の可能性 《第1回》機械学習の進展による画像認識技術の変遷|journal=計測と制御|volume=58|issue=4|pages=291-297|publisher=計測自動制御学会|DOI=10.11499/sicejl.58.291|issn=1883-8170}}
* {{Cite journal ja|last=柳井|first=啓司|year=2007|date=November 2007|title=一般物体認識の現状と今後|url=http://id.nii.ac.jp/1001/00017938/|journal=コンピュータビジョンとイメージメディア|volume=48|issue=SIG16(CVIM19)|pages=1-24|issn=1882-7810}}
* {{Cite journal ja|last=藤吉|first=弘亘|year=2008|date=December 2008|title=一般物体認識のための局所特徴量(SIFTとHOG)|journal=映像メディア処理シンポジウム資料|volume=13|pages=9-16}}
* {{Cite journal2|df=ja|last=Jiao|first=Licheng|year=2019|url=https://arxiv.org/abs/1907.09408|title=A Survey of Deep Learning-Based Object Detection|journal=IEEE Access|volume=7|page=|pages=128837-128868|accessdate=2020-11-23|DOI=10.1109/ACCESS.2019.2939201}}
* {{Cite journal2|df=ja|last=Aziz|first=Lubna|last2=Haji Salam|first2=Md. Sah Bin|last3=Sheikh|first3=Usman Ullah|last4=Ayub|first4=Sara|date=2020|title=Exploring Deep Learning-Based Architecture, Strategies, Applications and Current Trends in Generic Object Detection: A Comprehensive Review|url=https://ieeexplore.ieee.org/document/9186021/|journal=IEEE Access|volume=8|pages=170461–170495|doi=10.1109/ACCESS.2020.3021508|issn=2169-3536}}
* {{Cite journal2|df=ja|last=Wu|first=Xiongwei|last2=Sahoo|first2=Doyen|last3=Hoi|first3=Steven C.H.|date=July 2020|year=2020|title=Recent advances in deep learning for object detection|url=https://linkinghub.elsevier.com/retrieve/pii/S0925231220301430|journal=Neurocomputing|volume=396|pages=39–64|language=en|doi=10.1016/j.neucom.2020.01.085}}

== 関連項目 ==
* {{仮リンク|特徴検出|en|feature detection}}
* {{仮リンク|移動物体検出|en|Moving object detection}}
* [[物体認識]]

== 外部リンク ==
* [https://www.tensorflow.org/hub/tutorials/object_detection Tensorflow チュートリアル 物体検出]
* [https://pytorch.org/tutorials/intermediate/torchvision_tutorial.html TORCHVISION OBJECT DETECTION FINETUNING TUTORIAL]

{{Good article}}
{{DEFAULTSORT:ふつたいけんしゆつ}}
[[Category:機械学習]]
[[Category:人工ニューラルネットワーク]]
[[Category:画像処理]]
[[Category:人工知能]]
[[Category:ディープラーニング]]
[[Category:監視]]