Новый метод MemAttention в Akashic улучшает LLM-агентов: точность +10,2 пункта, throughput +21%
Современные LLM-агенты постоянно накапливают контекст в ходе многошаговых взаимодействий, вызовов инструментов и кросс-сессионных сценариев. Проигрывание всей истории для каждого запроса становится неэффективным: длинные контексты увеличивают стоимость префиллов, могут превышать лимиты и засоряют релевантную информацию неважными данными, снижая как производительность, так и качество ответов.
Для решения этой проблемы предложена система Akashic, построенная вокруг механизма MemAttention. Он организует контекст в ограниченные чанки и моделирует семантические связи между ними, сохраняя перекрёстные доказательства без повторной записи полной истории. Это позволяет агентам эффективно работать с длинными контекстами.
Кроме того, Akashic применяет аппаратно-программный кодизайн размещения памяти: вероятные для совместного извлечения чанки располагаются рядом, что снижает фрагментацию при поиске и уменьшает накладные расходы на ввод-вывод. Такой подход особенно важен для масштабных систем.
Эффективность Akashic проверили на четырёх репрезентативных нагрузках и трёх размерах моделей. По сравнению с сильными базовыми решениями по памяти, система показала улучшение точности выполнения задач до 10,2 процентных пункта, пропускной способности — до 1,21 раза, а устойчивой частоты запросов — до 1,88 раза.
MemAttention эффективен при работе с длинными контекстами, где традиционные методы либо теряют значимую информацию, либо требуют больших вычислительных ресурсов. Система может быть полезна для создания более умных и быстрых LLM-агентов в реальных сценариях.
Работа опубликована на arXiv под идентификатором 2607.05708 и привлекла внимание сообщества. Авторы планируют дальнейшее развитие Akashic, включая интеграцию с различными фреймворками для агентов.
