AgentNAS: гибрид LLM и нейросетевого поиска установил рекорд на 11 задачах
Группа исследователей опубликовала в arXiv описание AgentNAS — подхода, который сочетает большие языковые модели (LLM) с автоматическим поиском нейросетевых архитектур (NAS). Новый метод избавляет от необходимости вручную проектировать пространство поиска, которое обычно требует глубокой экспертизы и перестраивается под каждую новую задачу.
В основе AgentNAS лежит трёхфазный конвейер: LLM генерирует качественную начальную архитектуру, затем разбивает её на «слоты» — модули с именованными и взаимозаменяемыми блоками. Эти слоты автоматически формируют ограниченное пространство поиска, которое исследует традиционный NAS. Такой подход позволяет измерить вклад каждого компонента.
На 17 задачах из бенчмарков NAS-Bench-360 и Unseen NAS, охватывающих классификацию, плотную регрессию, сегментацию и мультилейбл-классификацию, AgentNAS достиг результата выше существующих baseline-методов на 11 задачах. В их числе — и экспертные архитектуры, созданные под конкретные задачи.
Абляционные исследования показали, что LLM-генерация уже сама по себе превосходит baseline на большинстве задач, а NAS добавляет дополнительный прирост за счёт комбинаторной рекомбинации слотов. Этот эффект сохранялся для трёх LLM разной мощности, что подтверждает устойчивость разделения труда между моделью и поиском.
Авторы отмечают, что слотовая архитектура позволяет NAS проводить поиск, недоступный при независимой выборке из LLM. Исходный код проекта опубликован на GitHub под открытой лицензией, что даёт возможность другим исследователям воспроизвести результаты и адаптировать методику.
