BM-NAS

BM-NAS (Bilevel Multimodal Neural Architecture Search) — это фреймворк для автоматического поиска оптимальной архитектуры слияния признаков в мультимодальных нейронных сетях. Он устраняет необходимость ручного проектирования стратегий фьюжена, используя двухуровневую схему оптимизации: на верхнем уровне выбираются пары признаков из предобученных одномодальных моделей, а на нижнем уровне обучается оптимальная стратегия их объединения из набора базовых операций. Такой подход обеспечивает высокую гибкость, позволяя автоматически конструировать эффективные модули слияния, включая механизмы многоголового внимания (Transformer) или Attention on Attention (AoA). Эксперименты показывают, что BM-NAS достигает конкурентоспособной точности на различных мультимодальных задачах, требуя при этом значительно меньше времени на поиск и меньшего количества параметров модели по сравнению с существующими аналогами. Это делает фреймворк эффективным и легковесным решением для сложных задач, объединяющих разные модальности (например, RGB-видео и 3D-скелеты).