LLM-агент возглавил байесовскую оптимизацию: новый метод Sara повышает гибкость и точность
Группа исследователей опубликовала на arXiv новый подход к байесовской оптимизации (BO) с использованием больших языковых моделей (LLM). Вместо того чтобы встраивать LLM в фиксированную роль, авторы сделали её центральным агентом, который управляет всем процессом оптимизации, сохраняя при этом математическую основу классического BO.
Суть метода, названного агентной байесовской оптимизацией, в том, что LLM-агент конфигурирует задачу, запрашивает байесовский бэкенд, выбирает и применяет оценки, а также может в ходе работы изменять параметры: сужать границы, переключать функции приобретения, предлагать точечные испытания или даже переформулировать саму проблему, если появляются новые инструкции или наблюдения.
Для реализации созданы два компонента: Sara — автономный агент, который расширяет возможности базового оптимизатора, и lenz — модульный бэкенд на основе библиотеки BoTorch. Через структурированный интерфейс агент может проверять и изменять внутренние параметры бэкенда, что даёт беспрецедентный уровень контроля.
В экспериментах на синтетических и реальных задачах Sara продемонстрировала надёжность на уровне современных BO-методов без необходимости заранее задавать специфические знания. Более того, агент превзошёл существующие LLM-базлайны и показал улучшение по сравнению со стандартным BO за счёт использования информации из текстового описания задачи.
Особый интерес представляет работа в динамических условиях: Sara способна перестраивать всю оптимизационную постановку на лету, когда требования меняются. Как отмечают авторы, такой возможности не было в классических BO-подходах, что открывает новые сценарии применения — от инженерного проектирования до автоматизации научных исследований.
Таким образом, интеграция LLM в центр байесовского цикла не только упрощает использование богатых предметных знаний, но и повышает адаптивность системы. Исследование доступно на arXiv и может послужить основой для дальнейшего развития агентных методов оптимизации.
