概要
視覚言語モデルが出力する座標の確率分布を「期待値」として扱う新しい損失関数を提案し、物体検出と参照表現理解の精度向上を目指しています。
研究背景
視覚言語モデル（VLM）は、画像と文章を同時に理解し、質問への回答や画像中の物体位置を文章として出力できるモデルです。物体検出では、物体を囲む枠の座標を数値トークンとして生成します。
一般的な学習に用いられる交差エントロピー損失は、正解の座標トークンを出せたかどうかだけを評価します。そのため、正解が500の場合、501のような近い予測と900のような遠い予測が同じ「不正解」として扱われ、座標同士の距離を学習に十分反映できません。これが位置推定の不安定さや過学習につながることが課題でした。
研究内容
本研究では、PaliGemmaを基盤モデルとして用いました。画像エンコーダが画像の特徴を抽出し、入力文の特徴と合わせてLLMへ渡すことで、物体名と座標を含む出力文を生成します。
提案するExpected Value Loss（EVL）では、0から1023までの座標トークンに対する確率分布から期待座標を計算します。そのうえで、予測枠と正解枠の重なりを評価するGIoU損失を用い、枠の左右・上下が逆転した場合には追加のペナルティを与えます。文章生成には従来の損失を残し、座標分布の形を整えるDistribution Focal Lossも組み合わせることで、VLMの言語能力を維持しながら位置推定を改善します。
PascalVOCの複数カテゴリ検出（入力448px）ではmacro-F1が0.874から0.901へ、RefCOCOgではAccuracyが0.902から0.923へ向上しました。予測分布を可視化すると、従来法で曖昧だった物体境界が、提案法ではより明確になることも確認できました。一方、物体数とカテゴリ数が大幅に多いMSCOCOでは全体性能の向上が見られず、適用条件も明らかになりました。
研究成果
- 表 英輝, 林 良和, 梁瀬 和哉, 加藤 邦人:「期待値損失を用いた視覚言語モデルの物体検出タスクに対する効果的な性能向上手法の考案」動的画像処理実利用化ワークショップ DIA2026, IS3-15（2026年3月4日）