概要
画像と言語を同時に理解するVision & Languageマルチモーダルモデルは、画像分類、物体検出、画像説明、質問応答など、さまざまなタスクを一つのモデルで扱えます。一方、既存の大規模モデルはパラメータ数と学習コストが大きく、一般的なGPU環境での再学習や応用が難しいことが課題です。本研究では、汎用GPUでもファインチューニング可能な軽量マルチモーダルモデルと、限られた計算資源を効率よく使うマルチタスク学習方法を開発しました。
研究背景
大規模マルチモーダルモデルは高い性能を持つ反面、モデルの巨大化、学習時間の増加、GPUメモリ消費が問題になります。また、学習方法やデータセットが非公開の場合、再現実験や公平な評価が困難です。そこで、公開データセットだけを用い、モデル構造と学習方法を明確にした、再利用しやすい軽量モデルを目指しました。
軽量モデルの設計
入力画像はSwin Transformer V2、入力言語はFlan-T5で特徴量へ変換します。二つの特徴を連結し、Transformerで融合して、最終結果をテキストとして出力します。画像・言語エンコーダには事前学習済みモデルを使用し、その重みを凍結することで、学習対象となるパラメータを大幅に削減しました。
さらに、画像と言語の対応付けを行うTransformerエンコーダを、基盤となる言語モデルの12層から2層へ削減しました。次元調整用の全結合層を設けているため、入力エンコーダや出力デコーダを別のモデルへ交換しやすく、軽量性と拡張性を両立しています。
効率的なマルチタスク学習
画像分類、画像説明、領域説明、視覚質問応答、物体検出、位置推定など、10種類のタスクを公開データセットで同時に学習します。各タスクは出力長や使用できるバッチサイズが異なるため、単純に混ぜて学習するとGPUの利用効率が低下し、特定タスクの知識が偏る可能性があります。
提案方法では、一つのGPUで一度に一つのタスクを処理し、タスクごとに最適なバッチサイズを設定します。複数タスクから得た勾配を蓄積し、すべてのタスクが一定量学習された時点でモデルを更新します。これにより、重み更新のたびに各タスクの情報が反映され、不要なパディングを減らしながらGPUを効率よく利用できます。
軽量化の効果
提案モデルの総パラメータ数は699Mですが、事前学習済みエンコーダを凍結することで、実際に学習するパラメータは162Mに抑えられています。比較対象のKosmos-2は総パラメータ・学習パラメータともに1,798Mであり、提案モデルは学習対象を約9分の1に削減しました。一般的なGPU環境でも大きなバッチサイズで学習でき、下流タスクへの適用に必要なファインチューニングを現実的な計算コストで実施できます。
本研究により、大規模モデルの知識を活用しながら、モデル全体を学習し直さずに画像と言語を統合できることを示しました。モデル構造だけでなく、公開データセットと効率的なマルチタスク学習を組み合わせることで、再現性と実用性を備えたマルチモーダル基盤を実現しています。
発表文献
梁瀬和哉，軸屋敬介，表英輝，土田裕登，加藤邦人：「軽量マルチモーダルモデルの学習効率化と下流タスクへの適用」，精密工学会誌，Vol.91，No.1，pp.81-88，2025．