概要
周波数領域の情報を利用し、傷のような小さな異常だけでなく、画像全体に広がる色むらや部品欠落も高精度に検出する外観検査技術を研究しています。
研究背景
製造現場では、正常品の画像だけを学習し、正常とは異なる部分を異常として見つける「異常検知」が広く用いられています。異常の位置を細かく示せる一方、一般的な畳み込みニューラルネットワークは画像の近い範囲を順に見るため、広い領域にまたがる変化を捉えにくいことがあります。
例えば、部品の欠落、印刷全体のずれ、広い色むらは、一部分だけを見ると正常に近くても、画像全体の関係を見ると異常です。局所的な傷と大域的な異常を同じ仕組みで安定して検出することが課題です。
図1 局所的な特徴と画像全体の特徴を同時に扱うFFCブロック
研究内容
本研究では、代表的な異常検知手法PaDiMにFast Fourier Convolution（FFC）を組み込みました。FFCは、通常の畳み込みで得る局所特徴と、フーリエ変換によって得る周波数特徴を並行して処理します。これにより、細かな傷と画像全体の変化を一つのモデルで扱えます。
さらに、周波数特徴が細かなノイズに過度に反応しないようTotal Variation正則化を導入しました。これは隣り合う特徴の急激な変化を抑え、異常検知に必要な大きな構造を保ちやすくする処理です。
評価ではMVTec ADを用い、どの周波数帯の変化にモデルが反応するかをFourier Heat Mapで確認しました。単に検出精度を比べるだけでなく、なぜ周波数情報が有効なのかも分析しています。
図2 周波数帯ごとの変化に対するモデルの反応
図3 PaDiM、FC-PaDiM、提案手法の性能比較
提案手法は、とくに画像全体へ広がる異常に対する性能と、周波数変化に対する頑健性を改善しました。多様な欠陥が混在する実際の検査工程で、見逃しを減らすことが期待できます。
発表文献
［1］林良和, 相澤宏旭, 中塚俊介, 加藤邦人:「Fourier-Convolutional PaDiMによる異常検知」, 精密工学会誌, Vol.89, No.12, pp.942-948 (2023).
［2］林良和, 相澤宏旭, 加藤邦人:「Total Variation正則化を適用したFast Fourier ConvolutionによるPaDiMの異常検知性能の向上」, 電気学会論文誌C, 144巻9号, pp.886-893 (2024).