Новый бенчмарк RECAP: ИИ-агенты плохо адаптируются к меняющимся правилам
Группа исследователей опубликовала работу, посвященную проблеме адаптации ИИ-агентов к изменяющимся условиям. Они представили новый бенчмарк RECAP (Regression Evaluation for Continual Adaptation of Prompts), который моделирует ситуации, когда агент должен немедленно подстроиться под новые ограничения или правила — например, обновление политики безопасности или изменение пороговых значений.
В отличие от существующих тестов, RECAP использует строгий проактивный протокол: метод оптимизации промптов получает только спецификацию ограничения и должен обобщить его на новые данные без дополнительной обратной связи. Это имитирует реальные производственные сценарии, где ошибки недопустимы.
Исследователи протестировали шесть различных методов оптимизации промптов на четырёх языковых моделях (LLM) при трёх расписаниях изменения ограничений. Оценивались такие явления, как забывание, регресс и перенос знаний.
Результаты оказались неожиданными: ни один из методов не показал значимого улучшения производительности по сравнению с базовым уровнем, даже с учётом увеличения задержки. Методы, разработанные для офлайн- или реактивных сценариев, оказались непригодны для проактивной адаптации.
По мнению авторов, работа подчёркивает необходимость создания новых подходов, которые позволят моделям оставаться устойчивыми к постоянно меняющимся требованиям в условиях реального развёртывания.
