概要
「なぜ不良品だと判断したのか」を、AI自身が根拠を示しながら考えて答えられる外観検査システムを開発しています。大規模言語モデル（LLM）に検査の計画を立てさせ、画像処理ツールを使い分けながら段階的に判断させることで、キズや変形だけでなく、部品の欠落や個数間違いといった様々なタイプの不良に対応できる、高精度で説明性の高い検査AIを目指しています。
研究背景
研究室ではこれまで、視覚言語モデル（VLM）に検査対象の知識を追加学習させることで、様々な製品に応用できる汎用外観検査AIの研究を進めてきました［2］［3］［4］。しかし、1つのモデルが画像を見て良品・不良品を直接判定する方式には、まだ課題があります。キズや変形といった「見た目」の異常と、部品の数が足りない・組み合わせを間違えているといった「ルール違反」の異常とでは、判断に必要な視点がまったく異なり、1つのモデルだけで両方を高い精度で見分けるのは容易ではありません。
そこで私たちは、検査を一度の判定で終わらせるのではなく、LLMに検査の「計画」を立てさせ、必要な画像処理ツールを自ら選んで呼び出しながら段階的に判断していく、人の検査員の思考過程に近いアプローチに取り組んでいます。
図1 提案する外観検査フレームワークの全体構成
研究内容
提案システムでは、検査したい画像と検査仕様（何を、どのように検査したいか）を入力すると、まずLLM「Planner」がそれを検査用の指示文に変換します。Plannerはこの指示文をもとに、物体の領域を切り出す「Segmentator」、部品の個数や配置のルールを確認する「Format Verification」、キズや変形などの構造的な異常を判定する「Anomaly Detector」という3種類のCVツールを状況に応じて自ら選びながら繰り返し呼び出し、最終的な検査結果とその根拠となるログを出力します［1］。
この仕組みにより、部品の個数間違いのような論理的な不良はFormat Verificationに、キズや変形といった構造的な不良はAnomaly Detectorに、それぞれ得意なツールへ任せて判定できるようになりました。代表的な外観検査データセット「MVTec AD」ではAccuracy 0.929・F1値0.950を達成したほか、多様な製品を含む「VisA」データセットでも、キャンドルやカプセルなどの個別カテゴリで大きな精度向上を確認しています。さらに、自作した論理異常データセットでは正解率・F1値ともに1.000を達成し、ツール呼び出しが正しく完了する成功率も全ベンチマークで1.000という結果が得られました。
図2 VisAデータセット「macaroni2」における推論プロセスの例。Segmentatorで部品を切り出した後、Anomaly Detectorが1つずつ良品・不良品を判定している。
「なぜそう判断したのか」を人にも分かる形で示しながら検査できるAIは、現場での信頼性や導入のしやすさに直結します。検査の種類を問わず様々な不良を1つの仕組みで見分けられる、実用的で説明性の高い外観検査AIの実現を目指して、研究を続けています。
発表文献
［1］土田裕登，林良和，加藤邦人，大澤紘作，上野詩翔：「汎用外観検査のためのマルチモーダルリーズニング」，ビジョン技術の実利用ワークショップ ViEW2025，IS1-20，pp.250-257（2025.12.4）
［2］土田裕登，表英輝，林良和，上野詩翔，加藤邦人，大澤紘作，他：「視覚言語モデルによる汎用外観検査の性能向上」，第30回知能メカトロニクスワークショップ iMec2025，IM4-1，pp.128-135（2025.9.16）
［3］上野詩翔，林良和，中塚俊介，加藤邦人，尾下拓未，相澤宏旭：「汎用外観検査の性能向上に向けた視覚言語モデルの学習と推論法」，精密工学会誌，Vol.91，No.12，pp.1150-1155（2025）
［4］尾下拓未，上野詩翔，山田悠正，中塚俊介，加藤邦人，相澤宏旭，林良和：「In-Context Learningを使用した大規模視覚言語モデルによる少数の例示画像付き外観検査」，精密工学会誌，Vol.91，No.3，pp.418-424（2025）
［5］岡田壮央，大澤紘作，尾下拓未，上野詩翔，林良和，中塚俊介，加藤邦人，相澤宏旭：「特定ドメインにおける視覚言語モデルによる欠陥検出精度評価」，第31回画像センシングシンポジウム SSII2025，IS3-14（2025.5.30）
［6］加藤邦人，林良和，土田裕登，大澤紘作，上野詩翔：「外観検査システム、外観検査方法、および外観検査プログラム」（特願2025-203633／2025.11.26出願）