HOIとは
Human-Object Interaction（HOI）は、画像に写る人物と物体の組み合わせを見つけ、その間で行われている行動や関係を理解する技術です。例えば、人物と自転車を検出するだけでなく「人が自転車に乗っている」、人物とボールから「人がボールを蹴っている」といった関係まで認識します。
一般的な物体検出が「何が、どこにあるか」を答えるのに対し、HOIは「誰が、何に対して、何をしているか」を答えます。画像の状況をより深く理解できるため、生活支援ロボット、映像検索、行動解析、作業支援、安全確認など、人と周囲の物体との関係が重要になる場面で役立ちます。
研究背景
HOIでは、一枚の画像に複数の人物と物体が存在し、それぞれの組み合わせに対して行動を予測する必要があります。従来のVision & Languageモデルは画像内容を自然言語で柔軟に表現できますが、大規模なモデルほど学習パラメータやGPUメモリ、学習時間が増加します。また、画像中のすべての関係を長い文章として出力すると、多数のトークンが必要になります。
軽量マルチモーダルモデルによるHOI認識
本研究では、画像とテキストを統合する軽量Vision & LanguageモデルをHOIへ応用しました。まず既存の物体検出能力を用いて人物と物体の領域を取得し、その領域とクラス名をモデルへ入力します。モデルは、指定された人物と物体の間にある行動をテキストとして出力します。この構成により、画像全体の関係を一度に長文で生成するのではなく、対象となる組み合わせごとに効率よく予測できます。
画像エンコーダとテキストエンコーダには事前学習済みモデルを利用し、重みを凍結します。画像と言語の特徴を2層のTransformerで融合することで、学習対象となるパラメータを162Mに抑え、一般的なGPUでもファインチューニングできる構成にしました。
大規模モデルに匹敵する性能
HICO-DETとV-COCOを用いた評価では、提案モデルはHICO-DETで65.50%、V-COCOで81.28%を達成しました。大規模モデルKosmos-2の69.69%・84.26%に近い性能であり、OFA LargeやOFA Hugeを上回っています。
一方、学習時間は1エポックあたり3分で、OFA Largeの約3分の1、OFA Hugeの約6分の1、Kosmos-2の約60分の1でした。Kosmos-2が1,798Mの学習パラメータを必要とするのに対し、提案モデルは162Mです。軽量なモデルでありながら、大規模モデルに匹敵するHOI認識性能を達成しました。
認識例では、人物が服を「着ている」、ボールを「蹴っている」、人物が対象を「見ている」といった複数の関係を正しく予測しました。モデルを巨大化するだけでなく、事前学習済みの知識を活用し、入力する人物・物体領域を限定することで、少ない計算資源でも高度な状況理解が可能になることを示しています。
発表文献
［1］梁瀬和哉，軸屋敬介，表英輝，土田裕登，加藤邦人：「軽量マルチモーダルモデルの学習効率化と下流タスクへの適用」，精密工学会誌，Vol.91，No.1，pp.81-88（2025）．
［2］軸屋敬介，梁瀬和哉，表英輝，土田裕登，加藤邦人：「大規模Vision & Languageマルチタスクモデルの学習効率化とHuman-Object Interactionへの適用」，動的画像処理実利用化ワークショップ DIA2024，OS3-2，IS3-2（2024.3.5）．