SMCEvolve: новый подход к научным открытиям на основе LLM и Sequential Monte Carlo
Группа исследователей представила SMCEvolve — новый метод автоматического научного открытия, основанный на эволюции программ с использованием больших языковых моделей (LLM). Работа опубликована на сервере arXiv.
В отличие от существующих подходов, SMCEvolve переформулирует поиск программ как задачу сэмплирования из распределения, смещённого в сторону высокого вознаграждения. Для аппроксимации этого распределения применяется сэмплер Sequential Monte Carlo (SMC), что обеспечивает теоретическую обоснованность метода.
Из этого подхода автоматически вытекают три ключевых механизма: адаптивная ресэмплизация родителей, смесь мутации с принятием и автоматический контроль сходимости. Авторы также провели анализ сложности на конечных выборках, определив бюджет вызовов LLM, необходимый для достижения заданной ошибки аппроксимации.
SMCEvolve протестирован на нескольких бенчмарках: математические задачи, эффективность алгоритмов, символьная регрессия и сквозные исследования в машинном обучении. Во всех случаях система превзошла современные методы эволюции программ, используя при этом меньшее количество обращений к LLM и самостоятельно определяя момент остановки.
Разработчики отмечают, что SMCEvolve не только показывает более высокую эффективность, но и предоставляет принципиальный каркас для проектирования компонентов эволюционных систем. Это может упростить создание новых инструментов для автоматизированного научного поиска.
Исходный код SMCEvolve доступен на GitHub, что позволяет другим исследователям воспроизвести результаты и адаптировать метод под свои задачи. Публикация подчёркивает растущую роль LLM в автоматизации научных исследований.
