三焦点テンソルのソースを表示

'''三焦点テンソル'''（さんしょうてんテンソル、英:''trifocal tensor, tritensor''）、または'''三重焦点テンソル'''（さんじゅうしょうてんテンソル）は、[[コンピュータビジョン]]の分野で用いられる3つのビュー間のすべての[[射影幾何学|射影]]幾何学的関係を組み込んだ3×3×3の数値配列（[[テンソル]]）である。これは、3つのビュー内の対応する点または線の座標を関連付ける。シーン構造とは無関係であり、3つのビュー間の相対的な動き（[[ポーズ（コンピュータービジョン）|ポーズ]]）とそれらの固有のキャリブレーションパラメーターのみに依存する。したがって三焦点テンソルは[[基礎行列 (コンピュータビジョン)|基礎行列]]を3つのビューに拡張したものとみなせる。テンソルは27個の要素で構成されているが、実際にはそのうちの18個だけが独立している。

いわゆる'''キャリブレーションされた三焦点テンソル'''も存在する。これは、3つのビューの点と線の座標を固有のパラメーターに関連付け、カメラの相対的な姿勢をグローバルスケールも含めて構成し、計11 の独立した要素（自由度）を表す。自由度の減少は非線形性の増加を犠牲にしてと、推定に使用する対応の数を減らすことができる<ref>
{{Cite journal|last=Martyushev|first=E. V.|year=2017|title=On Some Properties of Calibrated Trifocal Tensors|journal=Journal of Mathematical Imaging and Vision|volume=58|issue=2|pages=321–332|arxiv=1601.01467|DOI=10.1007/s10851-017-0712-x}}</ref>。

== 相関スライス ==
テンソルは、その相関スライス（英 : ''correlation slices''）として知られる3つのランク2の 3 x 3 行列<math>{\mathbf T}_1, \; {\mathbf T}_2, \; {\mathbf T}_3</math>の集合とみなすこともできる。3つのビューの[[カメラマトリックス|射影行列]]が<math>{\mathbf P}=[ {\mathbf I} \; | \; {\mathbf 0} ]</math>、<math>{\mathbf P}'=[ {\mathbf A} \; | \; {\mathbf a}_4 ]</math>、<math>{\mathbf P''}=[{\mathbf B} \; | \; {\mathbf b}_4 ]</math> であると仮定すると、対応するテンソルの相関スライスは<math>{\mathbf T}_i={\mathbf a}_i {\mathbf b}_4^t - {\mathbf a}_4 {\mathbf b}_i^t, \; i=1 \ldots 3</math>のように閉じた形式で次のように表現できる。ここで<math>{\mathbf a}_i, \; {\mathbf b}_i</math>はそれぞれカメラ行列の''i番目''の列である。ただし実際には、このテンソルは3つのビューにわたる点と線の一致から推定される。

== 三重線形拘束条件 ==
三焦点テンソルの最も重要な特性の1つは、3つの画像の線と点の間に線形関係が生じることである。より具体的には、対応する点の3つ組を<math>{\mathbf x} \; \leftrightarrow \; {\mathbf x}' \; \leftrightarrow \;{\mathbf x}''</math>、それらを通る対応する直線を<math>{\mathbf l} \; \leftrightarrow \; {\mathbf l}' \; \leftrightarrow \;{\mathbf l}''</math>としたとき、次の三重線形拘束条件（英 : ''trilinear constraints''）に従う。

: <math>
({\mathbf l}^{\prime t} \left[{\mathbf T}_1, \; {\mathbf T}_2, \; {\mathbf T}_3 \right] {\mathbf l}'') [{\mathbf l}]_{\times} = {\mathbf 0}^t
</math>
: <math>
{\mathbf l}^{\prime t} \left( \sum_i x_i {\mathbf T}_i \right) {\mathbf l}'' = 0
</math>
: <math>
{\mathbf l}^{\prime t} \left( \sum_i x_i {\mathbf T}_i \right) [{\mathbf x}'']_{\times} = {\mathbf 0}^t
</math>
: <math>
[{\mathbf x}']_{\times} \left( \sum_i x_i {\mathbf T}_i \right) {\mathbf l}'' = {\mathbf 0}
</math>
: <math>
[{\mathbf x}']_{\times} \left( \sum_i x_i {\mathbf T}_i \right) [{\mathbf x}'']_{\times} = {\mathbf 0}_{3 \times 3}
</math>

ここで<math> [\cdot]_{\times} </math>は、交代[[クロス積|外積行列]]を意味する。

== 移送 ==
3つのビューの三焦点テンソルと2つのビューの対応する点のペアが与えられたとき、3番目のビューの点の位置をそれ以上の追加情報なしで決定することができる。これは点移送（英 : ''point transfer''）として知られており、線分と円錐曲線にも同様の移送が可能である。一般の曲線の場合、移送は接触円（曲率）の局所微分曲線モデルを通じて実現でき、円錐曲線として移送できる。 <ref>
{{Cite journal|last=Schmid|first=Cordelia|date=2000|title=The Geometry and Matching of Lines and Curves Over Multiple Views|url=http://hal.archives-ouvertes.fr/docs/00/54/83/01/PDF/ijcv.pdf|journal=International Journal of Computer Vision|volume=40|issue=3|pages=199–233|DOI=10.1023/A:1008135310502}}</ref>キャリブレーションされた三焦点テンソルを使用した空間の歪みを反映する3次モデルの移送は研究されているが<ref>{{Cite journal|last=Fabbri|first=Ricardo|last2=Kimia|first2=Benjamin|date=2016|title=Multiview Differential Geometry of Curves|journal=International Journal of Computer Vision|volume=120|issue=3|pages=324–346|arxiv=1604.08256|bibcode=2016arXiv160408256F|DOI=10.1007/s11263-016-0912-7}}</ref> 、キャリブレーションされていない三焦点テンソルについては未解決の問題が残っている。

== 推定 ==

=== キャリブレーションされていない場合 ===
古典的なケースは、3つの解を与える6点対応<ref name="hzbook">
{{Cite book|last=Richard Hartley and Andrew Zisserman|title=Multiple View Geometry in computer vision|publisher=Cambridge University Press|year=2003|chapter=Online Chapter: Trifocal Tensor|chapter-url=http://www.robots.ox.ac.uk/~vgg/hzbook/hzbook2/HZtrifocal.pdf|isbn=978-0-521-54051-3}}</ref> <ref>
{{Cite book|last=Heyden|first=A.|date=1995|chapter=Reconstruction from Image Sequences by means of Relative Depths|title=Proceedings of IEEE International Conference on Computer Vision|pages=1058–1063|doi=10.1109/ICCV.1995.466817|isbn=0-8186-7042-8}}</ref>である。

9線対応から三焦点テンソルを推定するケースは、最近解決されたばかりである。 <ref>
{{Cite book|last=Larsson|first=Viktor|last2=Astrom|first2=Kalle|last3=Oskarsson|first3=Magnus|year=2017|chapter=Efficient Solvers for Minimal Problems by Syzygy-Based Reduction|chapter-url=http://lup.lub.lu.se/record/e10f7381-3eeb-43e8-b138-5c3f8c2cde74|title=2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|pages=2383–2392|isbn=978-1-5386-0457-1|doi=10.1109/CVPR.2017.256}}</ref>

=== キャリブレーションされている場合 ===
キャリブレーションされた三焦点テンソルを推定することは、非常に難しいとされており、4点対応が必要である。 <ref>
{{Cite journal|last=Nister|first=David|last2=Schaffalitzky|first2=Frederik|date=2006|title=Four Points in Two or Three Calibrated Views: Theory and Practice|journal=International Journal of Computer Vision|volume=67|issue=2|pages=211–231|DOI=10.1007/s11263-005-4265-x}}</ref>

3点のみの対応を使用するケースが最近解決された。この場合、点は接線方向または入射線に関連付けられる。入射線を持つ点が2つだけの場合、これは次数312の最小化問題であり（従って最大で312の解が存在する可能性がある)、各点に接線を持つ一般の曲線や方向性（[[SIFT]]方向等）を持った特徴点の場合に適している。<ref>
{{Cite arXiv|arxiv=1903.09755|class=cs.CV|last=Fabbri|first=Ricardo|last2=Duff|first2=Timothy|title=Trifocal Relative Pose from Lines at Points and its Efficient Solution|date=23 Mar 2019}}</ref>同じ手法で3つの点の対応と1つの線の対応が混在する場合も解決され、次数216で最小であることも示されている。

== 脚注 ==
<references group="" responsive="1"></references>

== 参考文献 ==

* {{Cite journal|last=Hartley|first=Richard I.|year=1997|title=Lines and Points in Three Views and the Trifocal Tensor|journal=International Journal of Computer Vision|volume=22|issue=2|pages=125–140|DOI=10.1023/A:1007936012022}}
* {{Cite journal|last=Torr|first=P. H. S.|last2=Zisserman|first2=A.|year=1997|title=Robust Parameterization and Computation of the Trifocal Tensor|journal=Image and Vision Computing|volume=15|issue=8|pages=591–607|DOI=10.1016/S0262-8856(97)00010-3}}

== 外部リンク ==

* [https://web.archive.org/web/20091120063117/http://www2.informatik.hu-berlin.de/~blaschek/diplvortrag/learn_epi/EpipolarGeo.html 三焦点幾何学の可視化]（元は[[フランス国立情報学自動制御研究所|INRIA]] Robotvis の Sylvain Bougnoux によるもので、[[Java]]が必要）

=== アルゴリズム ===

* [https://github.com/LauraFJulia/TFT_vs_Fund キャリブレーションされていない 3 焦点テンソル推定のMatlab実装]と基礎行列との比較
* 最適化されたホモトピー連続コードを利用した[https://github.com/rfabbri/minus キャリブレーションされた三焦点テンソル推定の C++ 実装]。現在、3つの対応点とこれらの点での線（特徴点の位置と向き、または接線を持つ曲線点など）の場合と、3つの対応点と1つの線の対応の場合が含まれる。
[[Category:コンピュータビジョン]]
[[Category:射影幾何学]]