Обзор arXiv: как ИИ-модели адаптируются к новым правилам без переобучения

Группа исследователей опубликовала на arXiv обзор, посвящённый обучению с подкреплением в контексте (in-context reinforcement learning, ICRL) в нестационарных средах. Работа систематизирует подходы, которые позволяют предобученным моделям адаптироваться к изменениям среды без обновления весов — только за счёт анализа накопленного контекста.

В традиционном обучении с подкреплением агент использует пробу и ошибку, чтобы выучить оптимальную стратегию. Однако в реальных задачах условия часто меняются: награда, переходы между состояниями, наблюдаемые данные или даже набор доступных действий могут со временем стать другими. В таких ситуациях ранее полезный контекст может вводить в заблуждение или снова стать актуальным при возврате старого режима.

Авторы обзора определяют нестационарное ICRL как задачу, в которой политика (параметры модели) остаётся фиксированной, но она должна одновременно определить текущее правило среды и понять, какие части накопленного опыта всё ещё поддерживают это правило. В работе обсуждаются такие направления, как мета-RL, моделирование последовательности решений, агенты с дополнением извлечения информации и агенты, использующие обратную связь от вознаграждения.

Обзор организован вокруг трёх ключевых вопросов: что именно меняется в среде, как происходит изменение (резко, постепенно, циклично) и насколько это изменение наблюдаемо для агента. Такой фреймворк позволяет классифицировать существующие методы и выявить пробелы в исследованиях.

Работа будет полезна разработчикам адаптивных систем искусственного интеллекта, особенно в робототехнике, автоматическом управлении и играх. Полный текст доступен на arXiv под номером 2607.11906.