Новый фреймворк описывает механизмы насыщения и выхода в системах с обратной связью

Крупные языковые модели, системы обучения с подкреплением и автономного открытия часто улучшаются за счет циклической обратной связи. Однако со временем их прогресс замедляется — система «насыщается». В новой статье на arXiv исследователи предложили операционную структуру, которая объясняет причины насыщения и показывает, как его преодолеть с помощью внешних вмешательств.

Авторы ввели трехуровневую модель, в которой состояние знаний системы меняется под действием переходных ядер, зависящих от структурного параметра. Аттракторы и бассейны притяжения определяются динамикой с фиксированным параметром. Структурное вмешательство меняет этот параметр, что приводит к обнаружимому расхождению на контрольных состояниях — такой подход делает проверку структурных изменений фальсифицируемой.

С помощью условия дрейфа Ляпунова авторы показали, что стабильная внутренняя динамика стремится к ограниченной области устойчивости с экспоненциально затухающими переходными процессами и остаточным уровнем шума. Для описания выхода из насыщения введена метрика смещения аттрактора и нижняя граница KL-дивергенции относительно базового сценария.

Особое внимание уделено тому, почему условная взаимная информация не может служить надежным индикатором выхода: она измеряет вариацию между обновлениями, обусловленными вмешательством, а не отклонение от исходного распределения. Таким образом, требуется более тонкий диагностический инструмент.

Практическая проверка проводилась на трех кейсах: исправление кода с помощью LLM, обучение с подкреплением при разреженных наградах и байесовская оптимизация. Во всех случаях применялись согласованные продолжения (matched continuation controls), которые показали, как сила обратной связи и согласованность влияют на качественный выход из насыщения.

Работа предлагает операциональную связь между методами анализа устойчивости, измеримыми эффектами вмешательства и междисциплинарными диагностиками. Это может помочь разработчикам ИИ-систем проектировать алгоритмы, которые не застревают в локальных оптимумах и способны к долгосрочному улучшению.