概要
少数の画像からNeRFで新しい視点の画像を補い、撮影方向が偏っていてもカメラ位置を高精度に推定する研究です。
研究背景
カメラ位置推定は、ロボットやARが「自分がどこから対象を見ているか」を求める技術です。一般的な深層学習では、多方向から撮影した大量の画像と正しい位置情報が必要です。しかし、実際には撮影できる場所が限られ、正面や特定方向に画像が偏ることがあります。
学習画像にない方向から対象を見たとき、モデルは外観の変化を十分に学習していないため、位置や姿勢の推定誤差が大きくなります。実物を撮り直さずに、少ない画像から視点の不足を補うことが課題です。
図1 撮影できた視点とNeRFで補う視点の分布
研究内容
本研究では、少数画像に対応したNeRFを用いて対象物の三次元的な見え方を学習します。NeRFは、空間中の位置と見る方向から、その点の色と密度を予測し、任意視点の画像を描画できます。実際には撮影していない角度の画像を生成し、カメラ位置推定モデルの学習データへ追加します。
画像が少ない場合、通常のNeRFは見えていない部分を正しく再現しにくいため、DietNeRFの考え方を用いて画像全体の意味的な整合性を保ちます。これにより、限られた入力画像でも対象らしい新規視点画像を得やすくなります。
生成画像を利用して視点の偏りを小さくしたところ、元の少数画像だけで学習する場合より、未知視点におけるカメラ位置推定が改善しました。生成品質だけでなく、最終目的である位置推定への効果で評価しています。
図2 少数画像から生成した新規視点画像の比較
撮影装置を大きく増やさずに学習範囲を広げられるため、ロボットの位置合わせ、検査対象の姿勢推定、AR表示などへの応用が期待できます。
発表文献
［1］Sota Ito, Hiroaki Aizawa, Kunihito Kato: “Few-shot NeRF-based View Synthesis for Viewpoint-biased Camera Pose Estimation,” ICANN2023, pp.308-319 (2023).
［2］Sota Ito, Yoshikazu Hayashi, Hiroaki Aizawa, Kunihito Kato: “Learning Neural Velocity Fields for Camera Pose Estimation,” VISAPP2025, pp.699-706 (2025).