ИИ-агенты: конфликт воспоминаний подавляет обучение сильнее, чем нехватка данных

Долговременная память — ключевой компонент современных ИИ-агентов на базе больших языковых моделей. Она позволяет сохранять контекст между сессиями, персонализировать ответы и накапливать опыт. Однако до сих пор оставалось неясным, как именно новая информация взаимодействует с уже сохранённой: усиливает её, пересматривает или, наоборот, мешает.

Группа исследователей представила на arXiv описание фреймворка Controlled Memory Interference (CMI). Это диагностический инструмент, который создаёт контролируемые сценарии эволюции памяти, позволяя изучать, как разные отношения между воспоминаниями влияют на обучение. В отличие от традиционных подходов, ориентированных на построение памяти и поиск по релевантности, CMI рассматривает ситуации, когда несколько воспоминаний остаются одновременно актуальными, но различаются по состоянию, времени и авторитетности.

Эксперименты показали, что при контролируемой эволюции памяти простое накопление информации даёт ограниченный эффект. Гораздо более сильное влияние оказывает специфичная для взаимосвязей интерференция: она резко подавляет пластичность обновлений, при этом даёт лишь небольшой выигрыш в стабильности. Механизм действия может быть двояким — либо блокируется доступ к целевому воспоминанию при обновлении, либо нарушается его последующее использование в рассуждениях.

Авторы также обнаружили, что пути интерференции различаются в зависимости от метода поиска. Лексический поиск и плотный (семантический) поиск демонстрируют разные паттерны конфликтов. Кроме того, отравление данных (poisoning) оказывается более чувствительным к сигналам авторитетности обновления, чем к его недавности — то есть модели важно, откуда приходит новая информация, а не только то, насколько она новая.

CMI не только диагностирует проблему, но и предлагает способ её смягчения. Фреймворк генерирует целевые примеры для обучения с учётом интерференции. Это позволяет модели лучше различать допустимые обновления и мешающие воспоминания, сохраняя при этом производительность на исходных задачах памяти.

Выводы работы подчёркивают: эволюция памяти ИИ-агента определяется не столько объёмом накопленной информации, сколько взаимодействием между отдельными воспоминаниями. Интерференция памяти становится важным фактором, который необходимо учитывать при разработке надёжных систем непрерывного обучения и долговременной памяти для агентов.