Детектор аномалий, который отлично ранжирует дефекты, всё равно бесполезен на производстве, если не может выставить порог тревоги с контролируемым уровнем ложных срабатываний. Исследование с arXiv (2610.00236) разбирает именно это узкое место few-shot детекции: сколько «нормальных» изображений и категорий нужно, чтобы сертифицировать порог для нового класса без предположений о распределении данных.
Почему метрик ранжирования мало для продакшена
Большинство работ по детекции аномалий отчитываются метриками ранжирования: image-level AUROC, F1-max, AUPRO. Они отвечают на вопрос «насколько хорошо модель упорядочивает картинки по степени аномальности». Но в реальном цеху вопрос стоит иначе: при каком значении счётчика подать тревогу, чтобы доля ложных срабатываний не превышала заданный предел.
Это фундаментальная разница между лабораторной оценкой и промышленной эксплуатацией:
- ранговые метрики не зависят от масштаба счётчика и выбора порога;
- порог тревоги — конкретное число, которое обязано работать на новых данных;
- ошибка порога означает либо пропущенный брак, либо остановленную линию из-за ложных тревог.
Авторы исследования формулируют это как разрыв между офлайн-оценкой и продакшеном. Модель может быть идеальным ранжировщиком и при этом не иметь ни одного безопасного порога для эксплуатации.
Что проверили авторы исследования
DINOv2, PCA-резидуалы и набор данных
Эксперимент построен на замороженном DINOv2 — визуальном энкодере, который не дообучается под задачу. Аномальность считается через PCA-резидуалы: изображение кодируется фичами, и отклонение от главных компонент «нормального» многообразия служит счётчиком аномальности.
Тестовая база — стандарт индустрии:
- 15 категорий MVTec AD;
- 12 категорий VisA;
- четыре типа искажений, моделирующих сдвиг распределения.
Такой сетап типичен для few-shot промышленной инспекции: у предприятия есть десятки нормальных образцов и почти нет примеров брака. Модель учится «что такое норма», а не «что такое дефект».
Где ломается калибровка leave-one-image-out
Классический способ выставить порог без аномальных примеров — leave-one-image-out калибровка на целевой категории. Берём k нормальных изображений, считаем для каждого счётчик аномальности по модели, обученной на остальных, и назначаем порог как квантиль этих значений.
Исследование показывает, что у этого подхода есть жёсткое ограничение разрешения. Ранговые значения не опускаются ниже 1/(k+1): при k нормальных опорных изображениях минимально достижимый уровень ложных срабатываний ограничен снизу этой величиной. Хотите сертифицировать порог на уровне ложных тревог ниже 1% — потребуется больше сотни калибровочных картинок только на одну категорию.
Вторая проблема — устойчивость. Порог, откалиброванный на текущих нормальных данных, ломается при сдвиге распределения: другом освещении, смене партии сырья, дрейфе камеры. Четыре типа искажений в эксперименте как раз и проверяют, насколько быстро сертификация перестаёт выполняться.
Отсюда центральный вопрос работы: [сколько данных и категорий нужно для сертификации](#сколько-данных-нужно-для-сертификации-порога-тревоги) нового класса, если не делать никаких предположений о форме распределения.
Сколько данных нужно для сертификации порога тревоги
Распределение-независимый подход
Ключевая постановка задачи — сертификация без предположений о распределении. Это сильнее, чем обычная статистическая калибровка: не требуется, чтобы счётчик аномальности следовал нормальному закону или любому другому параметрическому семейству.
Логика такая: если порог должен гарантировать уровень ложных срабатываний α на новой категории, то единственный путь без модельных допущений — собрать достаточно «нормальных» данных и категорий, чтобы оценка квантиля была надёжной. Вопрос «сколько категорий для бизнеса нужно собрать» превращается в вопрос о статистической достаточности выборки.
Практический смысл для промышленного внедрения:
- одна категория с малым числом образцов даёт порог с грубым разрешением 1/(k+1);
- объединение данных нескольких категорий может уточнить оценку, но только если категории действительно однородны по поведению счётчика;
- сдвиг распределения между калибровкой и эксплуатацией обнуляет гарантию — нужен мониторинг дрейфа.
Что это значит для автоматизации бизнеса
Для автоматизации бизнеса визуального контроля вывод простой: закупка «умной» модели — половина задачи. Вторая половина — протокол сертификации порога тревоги, и его стоимость измеряется в данных.
Типичный сценарий на производстве: линия выпускает новый SKU, контролю качества нужно за пару дней настроить детекцию дефектов. Few-shot подход обещает «покажите 10 нормальных картинок». Исследование напоминает: 10 картинок достаточно, чтобы модель начала ранжировать, но недостаточно, чтобы [порог аномальности](#где-ломается-калибровка-leave-one-image-out) имел контролируемую долю ложных тревог.
Сколько для бизнеса это стоит в реальности — зависит от допустимого уровня ложных срабатываний. Чем строже требование, тем больше нормальных образцов на категорию и тем важнее проверка устойчивости к искажениям.
Чек-лист перед запуском детектора аномалий
Если вы внедряете искусственный интеллект для визуального контроля, проверьте четыре пункта до подписания акта:
1. Метрика под задачу. Требуйте не только AUROC, но и оценку порога при фиксированном уровне ложных тревог на отложенных данных.
2. Размер калибровочной выборки. Посчитайте ограничение 1/(k+1) для вашего k. Если бизнес требует 0,5% ложных срабатываний, убедитесь, что данных хватает с запасом.
3. Тест на сдвиг распределения. Прогоните калиброванный порог на данных с искажениями — освещение, позиция, партия сырья. Порог, который выживает только в лабораторных условиях, в цеху не работает.
4. Мониторинг в продакшене. Сертификация — не разовое событие. Дрейф данных требует периодической перекалибровки и пересчёта гарантии.
Пункты 2 и 3 напрямую опираются на [результаты экспериментов авторов](#что-проверили-авторы-исследования) — их стоит воспроизвести на своих данных до внедрения.
Вывод
Исследование закрывает важный пробел между академическими бенчмарками и требованиями эксплуатации. Ранговые метрики на замороженном DINOv2 с PCA-резидуалами выглядят впечатляюще, но сертификация порога тревоги — отдельная задача со своей ценой в данных и категориях.
Ответ на вопрос заголовка — «сколько нужно для бизнеса» — не константа, а функция от допустимого уровня ложных срабатываний и стабильности распределения. Чем строже контроль и чем сильнее дрейф, тем больше нормальных образцов и категорий придётся собрать.
И это честная цена, которую искусственный интеллект за автоматизацию контроля качества всё равно возьмёт — вопрос лишь в том, заплатите вы её на этапе проектирования или в виде остановок линии после запуска.
Источник: https://arxiv.org/abs/2610.00236