基礎行列 (コンピュータビジョン)

テンプレート:Distinguish 基礎行列（きそぎょうれつ、英 : fundamental matrix） $𝐅$ は、コンピュータビジョンの分野で用いられる、ステレオ画像間の対応する点を関係を表す 3 × 3 行列である。エピポーラ幾何学では、ステレオ画像ペア内の対応する2点の同次画像座標xとx'を使用して、Fxは他の画像上の対応する点x'が存在しなければならない線（エピポーラ線）を記述する。すなわち、対応する点のすべてのペアに対して以下の式が成り立つ。

𝐱'^{⊤} 𝐅 𝐱 = 0 .

ランク2であり、スケールまでしか決定されない基礎行列は、少なくとも7点の対応があれば推定できる。その7つのパラメーターは、点の対応だけで取得できるカメラに関する唯一の幾何学的情報を表す。

「基礎行列（英: fundamental matrix）」という用語は、QT・ルオンによる影響力のある博士論文で造られた。「二焦点テンソル（英: bifocal tensor）」と呼ばれることもある。テンソルとしては、異なる座標系の点を関連付ける双線型形式であるという点で、ツーポイントテンソルである。

基礎行列を定義する上記の関係は、1992年にオリヴィエ・フォージェラとリチャード・ハートレーによって発表された。 H.クリストファー・ロンゲ・ヒギンズの基本行列（英: essential matrix）は同様の関係を満たすが、基本行列はキャリブレーションされたカメラに関連する計量オブジェクトであり、基礎行列は射影幾何学のより一般的で基本的な用語で対応を記述する。これは、基礎行列 $𝐅$ とそれに対応する基本行列 $𝐄$ 間の関係によって次のように数学的に捉えられる。

𝐄 = (𝐊^{'})^{⊤} 𝐅 𝐊

$𝐊$ と $𝐊^{'}$ は、関連する2画像の固有のキャリブレーション行列である。

導入

基礎行列は、同じシーンの任意の2つの画像間の関係であり、両方の画像でシーンからの点が射影される場所に制約を与える。一方の画像にシーン上の点を投影すると、他方の画像の対応する点が線に拘束され、探索が容易になり、対応の誤り検出が可能になる。基礎行列が表す対応点間の関係は、エピポーラ拘束条件（英: epipolar constraint）、マッチング拘束条件（英: matching constraint）、離散マッチング拘束条件（英: discrete matching constraint）、または結合関係（英: incidence relation）と呼ばれる。

射影復元定理

基礎行列は、一連の点対応によって決定できる。さらに、これらの対応する画像点は、この基礎行列から直接導出されたカメラ行列を用いて、三角測量をして空間上の点を求めることができる。これらの空間上の点で構築されたシーンは、実際のシーンの射影変換内にある。 ^[1]

証明

画像点対応 $𝐱 \leftrightarrow 𝐱^{'}$ は、次の式としてカメラ行列 $(P, P^{'})$ の下で空間上の点 $X$ から導かれるとする。

\begin{matrix} 𝐱 & = P X \\ 𝐱^{'} & = P^{'} X \end{matrix}

$X_{0} = H X$ であるような一般ホモグラフィ行列 $H_{4 \times 4}$ で空間を変換するとする。

カメラは次のように変換される。

\begin{matrix} P_{0} & = P H^{- 1} \\ {P_{0}}^{'} & = P^{'} H^{- 1} \end{matrix}

P_{0} X_{0} = P H^{- 1} H X = P X = 𝐱

そして

{P_{0}}^{'}

も同様に画像点が得られる。

共平面条件を使用した基礎行列の導出

基礎行列は、共平面条件を使用して導出することもできる。 ^[2]

衛星画像の場合

基礎行列は、ステレオ画像のエピポーラ幾何を表現する。透視カメラで撮影した画像のエピポーラ幾何は、直線として表示される。ただし、衛星画像では、センサーが軌道に沿って移動している間に画像が形成される（プッシュブルームセンサー）。したがって、1つの映像シーンに対して複数の投影中心が存在し、エピポーラ線はエピポーラ曲線として形成される。ただし、小さな画像タイルなどの特殊な条件下では、基礎行列を使用して衛星画像を調整できる。