8点アルゴリズム

8点アルゴリズムは、コンピュータービジョンの分野で使用されるアルゴリズムで、対応する画像上の点のセットから、ステレオカメラペアに対応する基本行列または基礎行列を推定する。これは、1981 年にクリストファー・ロンゲ・ヒギンズによって基本行列の推定のために導入された。理論的には、このアルゴリズムは基礎行列にも使用できるが、実際上は1997年にリチャード・ハートレーによって記述され正規化された8点アルゴリズムがこのケースにより適している。

このアルゴリズムの名前は、対応する8つ（またはそれ以上）の画像上の点のセットから基本行列または基礎行列を推定するということに由来している。ただし、このアルゴリズムの変形は、8点未満の場合でも使用できる。

共平面性制約

エピポーラ幾何の例。投影点O _LおよびO _Rのそれぞれの中心を持つ 2 つのカメラは点Pを観測する。各画像平面へのＰの投影は、p_Ｌおよびp_Ｒで示される。点E_LとE_Rはエピポールである。

2台のカメラのエピポーラ幾何と空間内の点を代数方程式で表すことができる。点$P$がどこにあったとしても、ベクトル$\overline{O_{L}P}$、$\overline{O_{R}P}$、$\overline{O_R{O}_L}$は同一平面上にあることがわかる。「左目」の画像内の点$P$の座標を$X_L$、「右目」の画像内の点$P$の座標を$X_R$、2画像間の回転と平行移動を$R,T$とする。2つの画像座標系でそれぞれ表された$P$の座標の間の関係は$X_R=R(X_L-T)$と表せる。記号$\wedge$をウェッジ積とすると、$T\wedge X_L$から生成されるベクトルは$T$と$X_L$の両方に直交するから、次の式が常に成り立つ。

$X_L^{T}T\wedge X_L-T^{T}T\wedge X_L=(X_L-T{)}^{T}T\wedge X_L=0$

$I=R^{T}R$であるから、次が得られる。

$(X_L-T{)}^T{R}^{T}RT\wedge X_L=0$ .

$(X_L-T{)}^T{R}^T$を$X_R^T$に置き換えることで、次が得られる。

$X_R^{T}RT\wedge X_L=X_R^{T}RS{X}_L=X_R^{T}E{X}_L=0$

$T\wedge$は行列とみなすことができる。ロンゲ・ヒギンズは記号$S$を用いてそれを示した。積$RT\wedge =RS$はしばしば基本行列と呼ばれ$E$で表される。

ベクトル$\overline{O_L{p}_L},\overline{O_R{p}_R}$はベクトル$\overline{O_{L}P},\overline{O_{R}P}$と平行であるから、これらのベクトルを置き換えても共平面性の制約は保持される。左右の画像平面へ$P$を投影した座標を$y,y^{\prime }$とすると、共平面性制約は次のように記述できる。

$y{\text{'}}^T𝐄y=0$

基本的なアルゴリズム

ここでは、基本行列$𝐄$を推定する場合の基本的な8点アルゴリズムについて説明する。これは3つのステップで構成されている。まず、同次線形方程式を定式化する。ここで、解は$𝐄$に直接関連しており、正しい解がない可能性があることを考慮して方程式を解く。最後に、得られた行列の内部制約を利用する。1番目のステップはロンゲ・ヒギンズの論文で説明されているもので、2番目と3番目のステップは推定理論の標準的なアプローチである。

基本行列$𝐄$によって定義される制約は次のように表せる。

$({𝐲}^{\prime }{)}^T𝐄𝐲=0$

$𝐲,{𝐲}^{\prime }$は対応する画像上の点の正規化画像座標である。 アルゴリズムが解くべき問題は、対応する画像上の点の集合から基本行列$𝐄$を決定することである。実際には、画像点の画像座標はノイズの影響を受け、解も過剰決定される可能性がある。つまり、すべての点について上記の制約を正確に満たす$𝐄$を見つけることができない場合がある。この問題は、アルゴリズムの2番目のステップで対処される。

ステップ 1:同次線形方程式の定式化

次のように、

$𝐲=\left(\begin{array}{c}{y}_1\\ y_2\\ 1\end{array}\right)$ と ${𝐲}^{\prime }=\left(\begin{array}{c}y{\text{'}}_1\\ y{\text{'}}_2\\ 1\end{array}\right)$ と $𝐄=\left(\begin{array}{ccc}{e}_{11}& e_{12}& e_{13}\\ e_{21}& e_{22}& e_{23}\\ e_{31}& e_{32}& e_{33}\end{array}\right)$

と書くと、制約は次のように書き換えることもできる。

$y{\text{'}}_1{y}_1{e}_{11}+y{\text{'}}_1{y}_2{e}_{12}+y{\text{'}}_1{e}_{13}+y{\text{'}}_2{y}_1{e}_{21}+y{\text{'}}_2{y}_2{e}_{22}+y{\text{'}}_2{e}_{23}+y_1{e}_{31}+y_2{e}_{32}+e_{33}=0$

あるいは

$𝐞\cdot \widetilde{𝐲}=0$

ここで、それぞれ以下を表している。

$\widetilde{𝐲}=\left(\begin{array}{c}y{\text{'}}_1{y}_1\\ y{\text{'}}_1{y}_2\\ y{\text{'}}_1\\ y{\text{'}}_2{y}_1\\ y{\text{'}}_2{y}_2\\ y{\text{'}}_2\\ y_1\\ y_2\\ 1\end{array}\right)$ と $𝐞=\left(\begin{array}{c}{e}_{11}\\ e_{12}\\ e_{13}\\ e_{21}\\ e_{22}\\ e_{23}\\ e_{31}\\ e_{32}\\ e_{33}\end{array}\right)$

つまり、これら2つのベクトルは直交している必要がある、ということである。$𝐞$は基本行列を9次元ベクトルの形式で表したものであり、同様に$\widetilde{𝐲}$も$3\times 3$行列${𝐲}^{\prime }{𝐲}^T$を9次元ベクトルの形式で表したものになっている。

対応する画像上の点の各ペアは、ベクトル$\widetilde{𝐲}$を生成する。3次元点${𝐏}_k$の集合が与えられたとき、これらをベクトル${\widetilde{𝐲}}_k$の集合とみなすと、これらの全てがベクトル$𝐞$に対して次の式を満たさなければならない。

$𝐞\cdot {\widetilde{𝐲}}_k=0$

十分な数（少なくとも8つ）の線形独立なベクトル${\widetilde{𝐲}}_k$が与えられると、簡単な方法で$𝐞$を決定することができる。行列$𝐘$の列としてすべてのベクトル${\widetilde{𝐲}}_k$を集めると、次のようになる必要がある。

${𝐞}^T𝐘=\mathrm{𝟎}$

これは$𝐞$が同次線形方程式の解であることを意味する。

ステップ 2: 方程式を解く

この方程式を解くための標準的なアプローチは、 $𝐞$をゼロに等しい特異値に対応する$𝐘$の右特異ベクトルとして求める方法である。$𝐘$を構成するために少なくとも8つの線形独立ベクトル${\widetilde{𝐲}}_k$が使用される場合、この特異ベクトルは（スカラー乗算を無視すれば）一意であり、$𝐞$と$𝐄$を決定できる。

$𝐘$を構成するために8より多くの対応点が使用される場合、ゼロに等しい特異値を持たない可能性がある。このケースは、画像座標がさまざまな種類のノイズの影響を受ける場合に実際に発生する。この状況に対処するための一般的なアプローチは、これを最小二乗問題として記述することである。すなわち、$\Vert 𝐞\Vert =1$のもとで以下を最小にする$𝐞$を求める。

$\Vert {𝐞}^T𝐘\Vert$

解は$𝐘$の最小特異値に対応する左特異ベクトルとして$𝐞$を選択することで得られる。この$𝐞$を$3\times 3$行列に並べ替えると、このステップの結果（ここでは${𝐄}_{\mathrm{e}\mathrm{s}\mathrm{t}}$と呼ぶ）が得られる。

ステップ 3: 内部制約の適用

ノイズの多い画像座標を扱っている場合は、結果の行列が基本行列の内部制約（その特異値のうち2つは互いに等しく非ゼロであり、もう1つはゼロでなければならない）を満たさない可能性もある。利用場面によって、内部制約からの偏差が小さい場合も大きい場合も、問題になる場合と問題にならない場合がある。推定された行列が内部制約を満たすことが重要な場合、これは以下を最小化するランク2の行列${𝐄}^{\prime }$を見つけることによって達成できる。

$\Vert {𝐄}^{\prime }-{𝐄}_{\mathrm{e}\mathrm{s}\mathrm{t}}\Vert$

ここで${𝐄}_{\mathrm{e}\mathrm{s}\mathrm{t}}$はステップ2で得られた行列で、フロベニウス行列ノルムが使用される。この問題を解くために、まず次のように${𝐄}_{\mathrm{e}\mathrm{s}\mathrm{t}}$を特異値分解する。

${𝐄}_{\mathrm{e}\mathrm{s}\mathrm{t}}=𝐔𝐒{𝐕}^T$

ここで$𝐔,𝐕$は直交行列であり、 $𝐒$は${𝐄}_{\mathrm{e}\mathrm{s}\mathrm{t}}$の特異値を含む対角行列である。理想的には$𝐒$の対角要素の1つはゼロであるが、少なくとも互いに等しいことが期待されている他の2つと比較して小さい必要がある。いずれにせよ、次を設定する。

${𝐒}^{\prime }=\left(\begin{array}{ccc}{s}_1& 0& 0\\ 0& s_2& 0\\ 0& 0& 0\end{array}\right),$

ここで$s_1,s_2$はそれぞれ$𝐒$の最大および2番目に大きい特異値である。 結局、${𝐄}^{\prime }$は次のように与えられる。

${𝐄}^{\prime }=𝐔{𝐒}^{\prime }{𝐕}^T$

行列${𝐄}^{\prime }$がこのアルゴリズムによって得られた基本行列の推定結果である。

正規化されたアルゴリズム

基本的な8点アルゴリズムは、原理的に基礎行列$𝐅$の推定にも使用できる。定義される$𝐅$の制約は次のようになる。

$({𝐲}^{\prime }{)}^T𝐅𝐲=0$

ここで$𝐲,{𝐲}^{\prime }$対応した画像座標の同次表現である（正規化していなくともよい）。これは、以下のように基本行列と同様の方法で行列$𝐘$を形成し、方程式を解くことができることを意味する。

${𝐟}^T𝐘=\mathrm{𝟎}$

ここで$𝐟$は$𝐅$のベクトル表現である。上記の手順に従うことで、8つの対応点の集合から$𝐅$を決定することができる。ただし実際には結果として得られる基本行列はエピポーラ制約を決定するのに役立たない場合がある。

問題点

問題は、結果として得られる$𝐘$がしばしば悪条件（英 : ill-conditioned）となることである。理論上、$𝐘$はゼロに等しい特異値を1つ持つ必要があり、残りは非ゼロである。ただし実際には、非ゼロの特異値の一部は、大きな特異値に比べて小さくなる可能性がある。 $𝐘$を構成するために8よりも多い対応点が使用され、座標がほぼ正確である場合、ほぼゼロとして識別できるwell-definedな特異値が存在しない可能性がある。その結果、同次連立一次方程式の解は、実用に耐えうるほどの正確さが得られない可能性がある。

原因

ハートレーは、1997年の記事でこの推定問題に対処した。彼の問題の分析は、問題がその空間${ℝ}^3$内の同次画像座標の分布の悪さによって引き起こされることを示している。二次元画像座標$(y_1,y_2)$の典型的な同次表現は次のようになる。

$𝐲=\left(\begin{array}{c}{y}_1\\ y_2\\ 1\end{array}\right)$

ここで$y_1,y_2$はいずれも一般的なデジタルカメラでは、0から1000～2000の範囲にある。これは、$𝐲$の最初の2つの座標が3番目の座標よりもはるかに広い範囲にわたって変化することを意味する。さらに、$𝐘$を構築するために使用される画像上の点が画像の比較的小さな領域、例えば$(700,700)\pm (100,100)$にある場合、ベクトル$𝐲$はすべての点に対してだいたい同じような方向を指す。結果として、$𝐘$には1つの大きな特異値があり、残りは小さい値になってしまう。

解決策

この問題の解決策としてハートレーは次の原則に従って2画像のそれぞれの座標系を独立して新しい座標系に変換することを提案した。

• 新しい座標系の原点は、画像の図心（重心）を中心とする（原点を持つ）必要がある。これは、元の原点を新しい原点に平行移動することで実現できる。
• 平行移動後、原点から点までの距離の平均が$\sqrt{2}$に等しくなるように、座標を均一にスケーリングする。

この原則により通常2つの画像のそれぞれに対して個別に座標変換が行われる。その結果、新しい同次画像座標$\overline{𝐲},{\overline{𝐲}}^{\prime }$は次の式で与えられる。

$\overline{𝐲}=𝐓𝐲$

${\overline{𝐲}}^{\prime }={𝐓}^{\prime }{𝐲}^{\prime }$

ここで$𝐓,{𝐓}^{\prime }$は、元の画像座標から新しい正規化された画像座標への変換（平行移動とスケーリング）である。この正規化は、単一の画像で使用される画像点のみに依存するもので、一般に正規化されたカメラによって生成される正規化画像座標とは異なるものである。

基礎行列に基づくエピポーラ制約は、次のように書き換えられる。

$0=({\overline{𝐲}}^{\prime }{)}^T(({𝐓}^{\prime }{)}^T{)}^{-1}𝐅{𝐓}^{-1}\overline{𝐲}=({\overline{𝐲}}^{\prime }{)}^T\overline{𝐅}\overline{𝐲}$

ここで$\overline{𝐅}=(({𝐓}^{\prime }{)}^T{)}^{-1}𝐅{𝐓}^{-1}$である。これは、正規化された同次画像座標$\overline{𝐲},{\overline{𝐲}}^{\prime }$を使用して、上記の基本的な8点アルゴリズムを使用して変換された基本行列$\overline{𝐅}$を推定できることを意味する。

正規化変換の目的は、一般に正規化された画像座標から構築された行列$\overline{𝐘}$が、$𝐘$よりも優れた条件数を持つようにすることである。これは、解$\overline{𝐟}$が同次方程式$\overline{𝐘}\overline{𝐟}$の解として、$𝐘$に対する$𝐟$に比べてより well-defined であることを意味する。$\overline{𝐟}$が決定し$\overline{𝐅}$が再形成されると次の式に従って非正規化を行い$𝐅$を得ることができる。

$𝐅=({𝐓}^{\prime }{)}^T\overline{𝐅}𝐓$

一般に、基礎行列のこの推定値は、正規化されていない座標からの推定値よりも優れている。

8未満の点を用いる場合

各点ペアは$𝐄$の要素に対して1つの拘束方程式に与える。$𝐄$には5つの自由度があるため、$𝐄$の決定には5つの点ペアだけで十分なはずである。これは理論的な観点からは可能だが、実際に実装するのは簡単ではなく、さまざまな非線形方程式を解く必要がある。

カヴェ・ファシアンらは、回転クォータニオンを直接計算することにより、基本行列の計算を回避する5、6、および7点のアルゴリズムを提案した。

関連項目

• 基本行列
  • 基本行列#回転と平行移動の抽出
• 基礎行列
• 三焦点テンソル

参考文献

• テンプレート:Cite journal

• テンプレート:Cite book

• テンプレート:Cite journal