REXFLOW

Детектор аномалий, который отлично ранжирует дефекты, всё равно бесполезен на производстве, если не может выставить порог тревоги с контролируемым уровнем ложных срабатываний. Исследование с arXiv (2610.00236) разбирает именно это узкое место few-shot детекции: сколько «нормальных» изображений и категорий нужно, чтобы сертифицировать порог для нового класса без предположений о распределении данных.

Почему метрик ранжирования мало для продакшена

Большинство работ по детекции аномалий отчитываются метриками ранжирования: image-level AUROC, F1-max, AUPRO. Они отвечают на вопрос «насколько хорошо модель упорядочивает картинки по степени аномальности». Но в реальном цеху вопрос стоит иначе: при каком значении счётчика подать тревогу, чтобы доля ложных срабатываний не превышала заданный предел.

Это фундаментальная разница между лабораторной оценкой и промышленной эксплуатацией:

Авторы исследования формулируют это как разрыв между офлайн-оценкой и продакшеном. Модель может быть идеальным ранжировщиком и при этом не иметь ни одного безопасного порога для эксплуатации.

Что проверили авторы исследования

DINOv2, PCA-резидуалы и набор данных

Эксперимент построен на замороженном DINOv2 — визуальном энкодере, который не дообучается под задачу. Аномальность считается через PCA-резидуалы: изображение кодируется фичами, и отклонение от главных компонент «нормального» многообразия служит счётчиком аномальности.

Тестовая база — стандарт индустрии:

Такой сетап типичен для few-shot промышленной инспекции: у предприятия есть десятки нормальных образцов и почти нет примеров брака. Модель учится «что такое норма», а не «что такое дефект».

Где ломается калибровка leave-one-image-out

Классический способ выставить порог без аномальных примеров — leave-one-image-out калибровка на целевой категории. Берём k нормальных изображений, считаем для каждого счётчик аномальности по модели, обученной на остальных, и назначаем порог как квантиль этих значений.

Исследование показывает, что у этого подхода есть жёсткое ограничение разрешения. Ранговые значения не опускаются ниже 1/(k+1): при k нормальных опорных изображениях минимально достижимый уровень ложных срабатываний ограничен снизу этой величиной. Хотите сертифицировать порог на уровне ложных тревог ниже 1% — потребуется больше сотни калибровочных картинок только на одну категорию.

Вторая проблема — устойчивость. Порог, откалиброванный на текущих нормальных данных, ломается при сдвиге распределения: другом освещении, смене партии сырья, дрейфе камеры. Четыре типа искажений в эксперименте как раз и проверяют, насколько быстро сертификация перестаёт выполняться.

Отсюда центральный вопрос работы: [сколько данных и категорий нужно для сертификации](#сколько-данных-нужно-для-сертификации-порога-тревоги) нового класса, если не делать никаких предположений о форме распределения.

Сколько данных нужно для сертификации порога тревоги

Распределение-независимый подход

Ключевая постановка задачи — сертификация без предположений о распределении. Это сильнее, чем обычная статистическая калибровка: не требуется, чтобы счётчик аномальности следовал нормальному закону или любому другому параметрическому семейству.

Логика такая: если порог должен гарантировать уровень ложных срабатываний α на новой категории, то единственный путь без модельных допущений — собрать достаточно «нормальных» данных и категорий, чтобы оценка квантиля была надёжной. Вопрос «сколько категорий для бизнеса нужно собрать» превращается в вопрос о статистической достаточности выборки.

Практический смысл для промышленного внедрения:

Что это значит для автоматизации бизнеса

Для автоматизации бизнеса визуального контроля вывод простой: закупка «умной» модели — половина задачи. Вторая половина — протокол сертификации порога тревоги, и его стоимость измеряется в данных.

Типичный сценарий на производстве: линия выпускает новый SKU, контролю качества нужно за пару дней настроить детекцию дефектов. Few-shot подход обещает «покажите 10 нормальных картинок». Исследование напоминает: 10 картинок достаточно, чтобы модель начала ранжировать, но недостаточно, чтобы [порог аномальности](#где-ломается-калибровка-leave-one-image-out) имел контролируемую долю ложных тревог.

Сколько для бизнеса это стоит в реальности — зависит от допустимого уровня ложных срабатываний. Чем строже требование, тем больше нормальных образцов на категорию и тем важнее проверка устойчивости к искажениям.

Чек-лист перед запуском детектора аномалий

Если вы внедряете искусственный интеллект для визуального контроля, проверьте четыре пункта до подписания акта:

1. Метрика под задачу. Требуйте не только AUROC, но и оценку порога при фиксированном уровне ложных тревог на отложенных данных.

2. Размер калибровочной выборки. Посчитайте ограничение 1/(k+1) для вашего k. Если бизнес требует 0,5% ложных срабатываний, убедитесь, что данных хватает с запасом.

3. Тест на сдвиг распределения. Прогоните калиброванный порог на данных с искажениями — освещение, позиция, партия сырья. Порог, который выживает только в лабораторных условиях, в цеху не работает.

4. Мониторинг в продакшене. Сертификация — не разовое событие. Дрейф данных требует периодической перекалибровки и пересчёта гарантии.

Пункты 2 и 3 напрямую опираются на [результаты экспериментов авторов](#что-проверили-авторы-исследования) — их стоит воспроизвести на своих данных до внедрения.

Вывод

Исследование закрывает важный пробел между академическими бенчмарками и требованиями эксплуатации. Ранговые метрики на замороженном DINOv2 с PCA-резидуалами выглядят впечатляюще, но сертификация порога тревоги — отдельная задача со своей ценой в данных и категориях.

Ответ на вопрос заголовка — «сколько нужно для бизнеса» — не константа, а функция от допустимого уровня ложных срабатываний и стабильности распределения. Чем строже контроль и чем сильнее дрейф, тем больше нормальных образцов и категорий придётся собрать.

И это честная цена, которую искусственный интеллект за автоматизацию контроля качества всё равно возьмёт — вопрос лишь в том, заплатите вы её на этапе проектирования или в виде остановок линии после запуска.

Источник: https://arxiv.org/abs/2610.00236