GAMBLe: новый фреймворк для ИИ-систем показал, что простые решения часто эффективнее сложных

Группа исследователей представила аналитический фреймворк GAMBLe (Generator, Assessor, Mechanism, Budget and effective Landscape), предназначенный для анализа и оптимизации AI-Driven Research Systems (ADRS) — систем, объединяющих большие языковые модели (LLM) с автоматической оценкой для открытия алгоритмов, доказательств и дизайнов. Работа опубликована на arXiv.

ADRS всё активнее применяются в различных областях, однако инструменты для их анализа отстают от развития. Производительность таких систем зависит от взаимодействия компонентов, которые плохо изучены и дорогостоящи в исследовании. Стандартные гарантии сходимости, как показано авторами, не применимы к формализованному процессу ADRS из-за структурных допущений, которые не выполняются.

Фреймворк GAMBLe разлагает поведение ADRS на четыре параметра: генератор (G), оценщик (A), механизм (M) и бюджет (B), а также вводит понятие эффективного ландшафта L_eff = A ? G. Это позволяет выявить, что различные пары генератор-оценщик создают структурно разные оптимизационные ландшафты для каждой задачи.

Авторы проверили фреймворк на более чем 760 повторных запусках (свыше 46 000 итераций) с участием генераторов от отдельных LLM до динамически адаптируемых ансамблей, механизмов от жадного выбора до коэволюционного метапоиска, а также трёх NP-трудных задач с оценщиками от непрерывной шкалы до клифф-функций.

Результаты опровергли существование строгого порядка среди генераторов или механизмов. Фронтовые модели (frontier models) могут уступать открытым альтернативам, а простейший механизм иногда превосходит передовые методы метапоиска. По данным исследования, даже при ограниченном бюджете (60 итераций на запуск) правильный выбор компонентов способен повысить производительность на 13–67%, а эффективность поиска — в 6–39 раз.

Работа подчёркивает, что для ADRS нет универсально лучшего решения; необходим тщательный анализ конфигурации под конкретную задачу. GAMBLe предоставляет исследователям инструмент для такого анализа, снижая риски неоптимального выбора, который авторы метафорически называют «игрой вслепую».