MetaFlow: LLM научились генерировать алгоритмы-воркфлоу без примеров
Научная работа, опубликованная на arXiv, представляет MetaFlow — подход, позволяющий большим языковым моделям (LLM) самостоятельно генерировать воркфлоу (рабочие схемы) для выполнения различных задач. В отличие от традиционных методов, которые дают ответ для конкретного экземпляра задачи, MetaFlow учится создавать повторно используемые алгоритмические шаблоны.
Существующие LLM часто дают неструктурированные решения, что затрудняет их отладку и надёжное применение. Воркфлоу, по замыслу авторов, фиксируют повторяющиеся паттерны на уровне задачи, обеспечивая интерпретируемость, устойчивость и повторное использование. Однако ручное составление таких схем требует экспертности и времени.
MetaFlow решает эту проблему, рассматривая генерацию воркфлоу как задачу мета-обучения. Модель получает описание задачи и набор операторов, после чего учится компоновать стратегии решения. Обучение проходит в два этапа: сначала тонкая настройка с учителем на синтетических данных, затем обучение с подкреплением с верифицируемыми наградами (RLVR), использующее обратную связь от выполнения на разных экземплярах задачи.
По данным авторов, полученная модель демонстрирует эффективность на обученных задачах и сильную способность к обобщению на незнакомые задачи и наборы операторов. В бенчмарках по ответам на вопросы, генерации кода и математическому рассуждению MetaFlow достигла результатов, сопоставимых с современными базовыми моделями на внутридоменных задачах при однократном запуске.
Особое внимание уделяется нуль-шот обобщению: модель показала выдающуюся производительность на задачах, не встречавшихся в обучении, а также с новыми наборами операторов. Это открывает путь к более гибким и адаптивным системам искусственного интеллекта, способным самостоятельно строить алгоритмы решения без участия человека.
Метод MetaFlow может найти применение в автоматизации программирования, интеллектуальных помощниках и анализе данных, где требуется надёжное и интерпретируемое решение сложных задач.
