3次元物体認識の概要をつかむ:3次元特徴量編

2次元の物体認識においても、さまざまな局所特徴量(SIFT,HOG,AKAZE,,)の抽出手法などが提案されてきた。3次元データにおいても、このような特徴量が存在する。

 

・3次元物体認識手法
3次元物体認識における手法としては、ざっくり2つ。
アピアランスベースの手法とモデルベースの手法である。

1,  アピアランスベースの手法
この手法では、入力シーンと3次元物体の多視点画像を照合する。
要するデバイス構成としては、一般的なカメラを入力デバイスとして利用できるため、十分に実用的な手法として注目されている。

2,   モデルベースの手法
この手法では、3次元CADによるモデルデータと入力シーンの照合を行う。
この手法は、デバイス構成として入力において、3次元センサーを必要とするもののアピアランスベースのように膨大な画像データベースを用意する必要がないという利点がある。
一方で、3次元データは2次元画像に比べデータサイズが大きく照合にかかる時間が増えるという問題がある。
この問題に対して、3次元データを選択的に扱い、それらの選択された3次元点から特徴量を記述する手法が提案されている。

 

・3次元特徴量

3次元データにおける特徴量としては、大きく2つある。
1つは、全ての3次元dデータからその関係性を記述するような特徴量。
もう1つは、3次元データ上でキーポイントを選択して、そのキーポイント周りの特徴を記述して特徴量とする手法である。
前者は処理に時間がかかり、研究論文などから後者の方が精度としても高くなることが示されている。

次にキーポイントまわりの特徴量記述について説明する。

 

・キーポイントベース特徴量

1:キーポイント周りの情報記述
キーポイント周辺の情報記述として有名なものの1つにSHOT特徴量がある。

SHOT特徴量は、キーポイントにおける法線方向を利用し、3次元モデルの表面形状の特徴を記述することができる。流れとしては、局所座標系の設定とSHOT記述子による特徴量記述に分けられる。あるキーポイントに対する局所座標系の設定が完了した段階で、キーポイント周辺の領域をxy平面で2分割、球の内外で2分割、z軸に対して8分割の合計32分割を行い、各領域において法線ベクトルをもとめ、基準点の法線との内積を求める。最終的に、ヒストグラム化し、352次元の特徴量として記述する。

スクリーンショット 2016-01-17 14.19.47
SHOT特徴量

2:複数キーポイント間の関係記述

複数のキーポイント間の関係記述による特徴量であるPPF(point pair feature)について説明する。PPF特徴量は、全ての3次元点群データの間で2点を選ぶ組み合わせにおいて、算出される4次元特徴量である。4次元はそれぞれ、2点間の距離、2点を結ぶ線分とその各点の法線方向がなす角度、2点の法線間の角度である。この4次元特徴量Fは、探索の効率化のため、ハッシュテーブルにその特徴量をキーとして、2点の点番号を格納しておく。マッチング処理においては、ハッシュテーブルから対応点を検索した後、点対間の剛体変形パラメータを求めることで、モデルの位置・姿勢推定を行うことができる。

スクリーンショット 2016-01-17 14.19.53
Point Pair Feature

局所参照座標

局所参照座標は、キーポイントに対して設定される3次元直交座標のことである。それぞれ特定のキーポイント周辺の局所的な面に対する法線方向である1次、1次に対して水超く方向である2次。1次と2次の外積ベクトルとして表現される3次から成る。局所参照座標では、再現性と非曖昧性が重要である。再現性とは、あるキーポイントにおける局所参照座標の設定が安定的であること。また、非曖昧性とは、設定座標の向きも一定となるように設定することであり、姿勢推定への応用なども可能になる。

一般的な分類としては、MainLRF,SHOTLRFなどの特定のキーポイント周辺の点群位置から共有分散ベクトルを計算して得られた固有ベクトルを特徴量とするものや、サポート範囲内の点群を平面フィットしたときに得られる法線ベクトルを利用して、x軸を決定するGRFなどの手法がある。
GRFは、3次元的な起伏が少ない物体への対応に用いられる。