AnomalyGPT

**AnomalyGPT** — это первый метод промышленного обнаружения аномалий (IAD) на основе крупных визуально-языковых моделей (LVLM), который позволяет обнаруживать аномалии на промышленных изображениях без необходимости ручной установки пороговых значений. Существующие методы IAD могут предоставлять только оценку аномальности и требуют ручной настройки порога, в то время как существующие LVLM не способны обнаруживать аномалии на изображении. AnomalyGPT может не только указать на наличие и местоположение аномалии, но также предоставить информацию об изображении. Мы используем предварительно обученный кодировщик изображений и большую языковую модель (LLM) для согласования изображений IAD и соответствующих им текстовых описаний с помощью симулированных данных аномалий. Мы применяем легковесный декодер изображений на основе сопоставления визуально-текстовых признаков для получения результата локализации, а также разрабатываем модуль обучения подсказкам для предоставления LLM мелкозернистой семантики и донастраиваем LVLM с использованием встраиваний подсказок. Наш метод также может обнаруживать аномалии на ранее не встречавшихся объектах при наличии нескольких нормальных образцов.