REXFLOW

Детекторы аномалий в few-shot-режиме принято оценивать метриками ранжирования, но в реальном продакшене нужен порог тревоги с контролируемым уровнем ложных срабатываний. Свежее исследование отвечает на практический вопрос: сколько «нормальных» изображений и категорий нужно для сертификации порога аномальности на новом классе без предположений о распределении данных.

Короткий ответ: калибровка на одной целевой категории упирается в математический предел, и без дополнительных данных порог ломается.

Почему метрики ранжирования не спасают в продакшене

Большинство работ по детекции аномалий отчитываются метриками вроде AUROC — они измеряют, насколько хорошо модель *упорядочивает* нормальные и аномальные образцы. Это удобно для сравнения моделей на бенчмарках, но бесполезно для эксплуатации.

В производственной системе сигнализация работает иначе: если аномальность изображения выше порога — тревога, ниже — пропуск. И здесь возникает требование, которого нет в метриках ранжирования: контролируемая доля ложных срабатываний. Если детектор на заводской линии каждые десять минут поднимает ложную тревогу, оператор перестаёт на неё реагировать — классическая проблема «мальчика, который кричал „волк"».

Авторы формулируют задачу как сертификацию порога: гарантировать, что вероятность ложной тревоги не превысит заданный уровень, причём без предположений о форме распределения аномальности. Это более сильное требование, чем обычная калибровка на валидационной выборке.

Экспериментальная база: DINOv2, PCA-резидуалы и 27 категорий

Чтобы ответить, сколько данных и категорий для сертификации порога реально нужно, исследователи собрали предельно воспроизводимую установку:

Выбор замороженного энкодера не случаен: он исключает влияние дообучения и сводит вопрос к чистой статистике — сколько данных нужно, чтобы порог был надёжным.

Предел leave-one-image-out калибровки

Ранговая природа оценки аномальности

Ключевой технический результат: при калибровке leave-one-image-out на целевой категории оценка аномальности ведёт себя как ранг, а не как непрерывная величина. Каждый калибровочный пример сравнивается с остальными, и минимально достижимое значение ранга ограничено снизу величиной 1/(k+1), где k — число «нормальных» изображений.

Это создаёт жёсткое разрешение шкалы. Если у вас 10 нормальных изображений, значения аномальности не опускаются ниже 1/11 ≈ 0,09. Хотите различать доли процента ложных срабатываний — потребуется на порядки больше калибровочных данных, чем кажется на первый взгляд.

Ломка порога при сдвиге распределения

Второй удар по одно-категорийной калибровке — устойчивость. Эксперименты с четырьмя типами искажений показали: порог, настроенный на целевой категории, теряет гарантию при сдвиге распределения. Модель видит чуть другой свет, другой ракурс, другое качество съёмки — и уровень ложных тревог уплывает от сертифицированного значения.

Вывод авторов: калибровка только на целевом классе принципиально ограничена. Отсюда и центральный вопрос исследования — сколько категорий нужно, чтобы сертифицировать порог для нового класса, не делая предположений о распределении.

Кросс-категорийная сертификация: зачем нужны чужие классы

Идея, которую проверяет исследование: порог для новой категории можно сертифицировать, агрегируя статистику по многим уже размеченным категориям. Каждая категория даёт свою выборку «нормальных» оценок аномальности; их объединение позволяет строить порог с гарантированной долей ложных срабатываний для класса, который модель никогда не видела.

Логика похожа на то, как человек оценивает «странность»: увидев тысячи нормальных объектов разных типов, он распознаёт аномалию в новом типе без отдельного обучения на нём.

Практические следствия для команд, внедряющих ИИ в контроль качества на производстве:

Что это значит для внедрения ИИ в контроль качества

От AUROC к SLA на ложные тревоги

Для инженера исследование сдвигает фокус разговора с заказчиком. Вместо «модель достигла 99% AUROC» — «при пороге X доля ложных срабатываний не превысит Y с гарантией Z». Это язык, на котором считается экономика внедрения: каждая ложная тревога — это время оператора, простой линии или лишняя проверка.

Искусственный интеллект в инспекции полезен ровно настолько, насколько предсказуема его ошибка. Метрика ранжирования предсказуемости не даёт; сертифицированный порог — даёт.

Сколько данных нужно для бизнеса на практике

Прямой ответ исследования: данных одной категории недостаточно в принципе — не «мало», а математически ограничено разрешением 1/(k+1) и хрупкостью к сдвигу. Нужен пул категорий: в эксперименте задействованы 15 категорий MVTec и 12 VisA, и именно масштаб этого пула позволяет говорить о сертификации без предположений о распределении.

Для команды, планирующей автоматизацию бизнеса, это означает бюджетировать не только сбор «нормальных» изображений целевого продукта, но и создание библиотеки категорий — пусть даже чужих, из открытых датасетов, как стартовой точки.

Ограничения и открытые вопросы

Эксперимент построен на конкретной связке: замороженный DINOv2 + PCA-резидуалы. Для других детекторов — например, на основе потоковых моделей или distillation — константы могут отличаться, хотя ранговый предел 1/(k+1) — свойство самой процедуры leave-one-image-out, а не выбранного бэкбона.

Четыре типа искажений покрывают лишь часть реальных сдвигов распределения: смена камеры, деградация оптики, дрейф процесса производства — всё это отдельные сценарии, требующие своих тестов. Подробности постановки — в разделе об [экспериментальной базе](#Экспериментальная база: DINOv2, PCA-резидуалы и 27 категорий) и в разборе [предела калибровки](#Предел leave-one-image-out калибровки).

Чек-лист перед запуском детектора аномалий

1. Зафиксировать допустимую долю ложных срабатываний — как SLA, а не как пожелание.

2. Проверить, сертифицирован ли порог на пуле категорий, а не только на целевой.

3. Оценить разрешение шкалы: сколько калибровочных изображений даёт нужную нижнюю границу ранга.

4. Прогнать стресс-тесты на сдвиг распределения — минимум по четырём типам искажений, как в исследовании.

5. Пересчитать экономику: [ложные тревоги в продакшене](#Почему метрики ранжирования не спасают в продакшене) стоят денег, и их количество должно входить в расчёт окупаемости.

Исследование закрывает важный разрыв между бенчмарками и эксплуатацией: показывает, где одно-категорийная калибровка упирается в предел, и почему ответ на вопрос «сколько нужно» — это ответ про категории, а не про изображения. Для индустриального компьютерного зрения это шаг от красивых кривых ROC к порогам, которым можно доверять.

Источник: https://arxiv.org/abs/2610.00236