API interface from registry.cit.gov.ru

Мультимодальные большие языковые модели (MLLM) добились впечатляющих успехов в понимании естественных визуальных образов, однако они стабильно показывают низкие результаты в обнаружении промышленных аномалий (IAD). Это связано с тем, что MLLM, обученные преимущественно на общих веб-данных, значительно отличаются от промышленных изображений. Кроме того, они кодируют каждое изображение независимо и могут сравнивать изображения только в языковом пространстве, что делает их нечувствительными к тонким визуальным различиям, которые имеют ключевое значение для IAD. Чтобы решить эти проблемы, мы представляем AD-Copilot — интерактивную MLLM, специализированную для IAD посредством визуального сравнения в контексте. Сначала мы разрабатываем новый конвейер курации данных для извлечения знаний инспекции из промышленных изображений с разреженной разметкой, что приводит к созданию крупномасштабного мультимодального датасета Chat-AD (более 620 тыс. образцов, 327 категорий). AD-Copilot включает в себя новый энкодер сравнения (Comparison Encoder), который использует перекрестное внимание между парными признаками изображений для улучшения детализированного восприятия нескольких изображений, и обучается с помощью многоэтапной стратегии, которая включает предметные знания и постепенно улучшает навыки IAD. Мы также представляем MMAD-BBox, расширенный бенчмарк для локализации аномалий с оценкой ограничивающих рамок. AD-Copilot достигает точности 82,3% на бенчмарке MMAD, превосходя все проприета…