概要

どんな製品にも使える「良品・不良品」を見分けるAIを、画像と言葉の両方を理解する視覚言語モデル（VLM）を使って開発しています。

研究背景

工場の製品検査（外観検査）は、近年、深層学習を用いた自動化が進んでいます。しかし従来の手法では、検査したい製品ごとに大量の画像を集めてモデルを作り直す必要があり、新しい製品が増えるたびに一から学習をやり直さなければならないという課題がありました。

一方、近年登場した視覚言語モデル（Vision-Language Model, VLM）は、画像と言葉の両方を理解する能力を持ち、大規模言語モデル（LLM）が持つ幅広い知識を画像認識に活用できます。そこで私たちは、研究室でこれまで培ってきた異常検知・外観検査技術の蓄積を土台に、VLM を用いることで、製品ごとにモデルを作り直すことなく幅広い製品に対応できる「汎用外観検査」の実現を目指して研究を行っています。

図1　汎用外観検査モデルの全体像

研究内容

外観検査AIの実用化に立ちはだかる最大の壁は、「新しい製品が出てくるたびに、また一からデータを集めてモデルを学習し直さなければならない」という点です。私たちが目指しているのは、この壁を取り払い、見本を1枚も見せなくても（Zero-shot）、ほんの数枚の見本画像を見せるだけでも（Few-shot）、その場で様々な製品の良品・不良品を判定できる、汎用的な外観検査AIです。

この研究は2024年以降、いくつかのサブテーマに分かれて進めてきました。局所的な特徴の認識に優れたVLM「ViP-LLaVA」への追加学習と、お手本画像を自動で選ぶ手法の提案［1］を土台に、In-Context Learning（お手本画像を提示するだけで、モデルを追加学習せずにその場で判定させる手法）を用いた少数の例示画像への対応［3］、外観検査に特化した学習データを大規模言語モデル（GPT-4o）で自動生成しVLM「LLaVA-OneVision」を追加学習させる手法の確立［4］［5］へと発展させてきました。最新の成果では、多様な欠陥の種類を扱う評価ベンチマーク「MMAD」において、見本画像を1枚だけ見せるFew-shot設定での正答率を平均69.1ポイントから77.0ポイントへと大きく向上させたほか、代表的な外観検査データセット「MVTec AD」でも93.6％という高い精度を達成しています［4］。さらに現在は、判定結果だけでなく「なぜ不良と判断したのか」という根拠まで説明できる、説明可能な外観検査AIの研究にも取り組んでいます［6］。

図2　追加学習に用いているVLM「LLaVA-OneVision」のモデル構造

また、判定は良品・不良品の二択だけにとどまりません。日本語だけでなく英語など複数の言語での質問にも対応し、欠陥の有無に加えて、欠陥の種類や画像内の位置（バウンディングボックス）、さらには基準となる画像との違いまで、状況に応じて言葉で答えることができます。

図3　多言語・複数タスクに対応した質問応答の例。判定に加え、欠陥の種類や位置、参照画像との違いまで答えることができる。

図4　様々な製品を対象とした異常検出の例（赤枠が検出された異常箇所）

「今日入ってきたばかりの新しい部品でも、明日には検査できる」。そんな現場に寄り添えるAIを実現できれば、人手や膨大な学習データに頼らざるを得なかった検査業務の負担を大きく減らし、様々な業種・製品への外観検査AI導入のハードルを一気に下げられると考えています。本研究に関連する成果は、ViEW2023小田原賞（優秀論文賞）、SSII2024オーディエンス賞、ViEW2024若手奨励賞を受賞しました。

本研究は、ビジョン技術の実利用ワークショップViEW2023にて小田原賞（優秀論文賞）、第30回画像センシングシンポジウムSSII2024にてオーディエンス賞、ビジョン技術の実利用ワークショップViEW2024にて若手奨励賞を受賞しました。

発表文献

［1］上野詩翔，林良和，中塚俊介，加藤邦人，尾下拓未，相澤宏旭：「汎用外観検査の性能向上に向けた視覚言語モデルの追加学習と推論」，ビジョン技術の実利用ワークショップ ViEW2024，OS1-H3（2024）

［2］加藤邦人，上野詩翔，吉田温登：「大規模視覚言語モデルの外観検査応用への可能性」，精密工学会誌，Vol.91，No.3，pp.333-336（2025）

［3］尾下拓未，上野詩翔，山田悠正，中塚俊介，加藤邦人，相澤宏旭，林良和：「In-Context Learningを使用した大規模視覚言語モデルによる少数の例示画像付き外観検査」，精密工学会誌，Vol.91，No.3，pp.418-424（2025）

［4］土田裕登，表英輝，林良和，上野詩翔，加藤邦人，大澤紘作：「視覚言語モデルによる汎用外観検査の性能向上」，電気学会論文誌C（電子・情報・システム部門誌）（2025）

［5］上野詩翔，林良和，中塚俊介，加藤邦人，尾下拓未，相澤宏旭：「汎用外観検査の性能向上に向けた視覚言語モデルの学習と推論法」，精密工学会誌，Vol.91，No.12，pp.1150-1155（2025）

［6］Shiryu Ueno, Yoshikazu Hayashi, Shunsuke Nakatsuka, Hiroaki Aizawa, and Kunihito Kato: “Boosting Explainability of General Visual Inspection with a Multi-Head Vision Language Model”, Journal of Electronic Imaging, Vol.35, No.3, pp.1-10 (2026)

受賞

ViEW2023 ビジョン技術の実利用ワークショップ 小田原賞（優秀論文賞），山田悠正，尾下拓未，中塚俊介，加藤邦人，上野詩翔，相澤宏旭，林良和：「大規模視覚言語モデルのIn-Context Learningによる少量データからの外観検査」，ビジョン技術の実利用ワークショップ ViEW2023（2023年12月8日受賞）．

SSII2024 第30回画像センシングシンポジウム オーディエンス賞，上野詩翔，尾下拓未，中塚俊介，加藤邦人，林良和，相澤宏旭：「大規模視覚言語モデルによる少量データからの汎用外観検査 -画像と言語の対応関係が学習に与える影響-」，第30回画像センシングシンポジウム SSII2024（2024年6月14日受賞）．

ViEW2024 ビジョン技術の実利用ワークショップ 若手奨励賞，上野詩翔：「汎用外観検査の性能向上に向けた視覚言語モデルの追加学習と推論」，ビジョン技術の実利用ワークショップ ViEW2024（2024年12月6日受賞）．