概要
少数の製品画像で視覚言語モデルを追加学習し、製品固有の欠陥を見つけて位置まで示す外観検査技術です。
研究背景
汎用的な視覚言語モデルは、画像について質問すると文章で答えられます。しかし、食品の小さな欠け、焼きむら、形状不良など、製品ごとに定義が異なる欠陥をそのまま正確に判断することは困難です。一般的な画像で学んだ知識と、現場固有の品質基準には隔たりがあります。
製品ごとに大規模なモデルを一から学習するには、多数の画像と計算資源が必要です。また、単に「不良」と答えるだけでは、検査員が欠陥位置を確認できません。少量データで製品へ適応し、合否・欠陥種別・位置を一緒に出力することが課題です。
図1 対象ドメインにおける正常品画像
図2 欠けや形状不良などの欠陥種別
研究内容
本研究では、事前学習済みの視覚言語モデルを基礎とし、菓子製品の正常・異常画像と説明文を使って追加学習します。質問文と回答形式を揃え、モデルが画像を見て正常か異常か、どの欠陥か、画像中のどこにあるかを答えるようにします。
欠陥位置はバウンディングボックスとして出力します。文章生成の枠組みを保ちながら位置情報も学習することで、人が確認しやすい検査結果を得られます。さらに学習画像を段階的に減らし、どの程度のデータ量まで性能を保てるかを評価しました。
対象製品での平均F1値は0.961に達し、少数データでも高い欠陥検出性能を確認しました。汎用モデルの知識を活かすため、一からモデルを作る場合よりデータ収集と学習の負担を抑えられます。
図3 少数データ条件での評価方法
>図4 学習画像を減らしたときの欠陥検出性能
製品切り替えの多い生産ラインでも、少量の教師データで検査モデルを準備できる可能性があります。結果を言語と位置で提示できるため、検査員との協働にも適しています。
発表文献
［1］岡田壮央ほか:「特定ドメインにおける視覚言語モデルによる欠陥検出精度評価」, 第31回画像センシングシンポジウムSSII2025, IS3-14 (2025).