SkillEffect: новая система предотвращает переполнение памяти у ИИ-агентов
На arXiv появилась работа, описывающая новую систему SkillEffect для контроля ресурсов при использовании инструментов языковыми моделями. Авторы предлагают механизм проверяемого понижения, который проверяет программу до выдачи прав на выполнение.
Проблема в том, что модель может сгенерировать семантически корректный код, но загрузить весь входной файл и превысить лимит памяти, отведённый на один вызов инструмента. SkillEffect добавляет отдельный проверяющий компонент, который пересобирает предлагаемую программу из поданного кода и неизменяемых входных данных, и только потом разрешает исполнение.
Архитектура построена вокруг плагинов связи. Каждый плагин описывает распознавание источника, извлечение фактов, конструктор ограниченного промежуточного представления, функцию арены памяти и постусловие. Общий рантайм обеспечивает проверку выбора, выполнение в ограниченной виртуальной машине, аренду ёмкости и публикацию результата.
По данным исследования, такой подход существенно снижает пиковое потребление памяти и повышает долю успешных завершений при фиксированных лимитах. Авторы протестировали систему на шести семействах операций и шести плагинах, охватывающих пять паттернов выполнения, включая потоковую редукцию и ограниченную по памяти кучу для Top-k.
Дополнительные эксперименты с интеграцией XLSX и расширением Top-k показали, что новые связи и состояния могут использовать общую границу доверия. Проверяющий компонент принял все допустимые конфигурации и отклонил все враждебные предложения.
Разработчики подчёркивают, что универсальность SkillEffect достигается за счёт архитектуры, а не автоматически: для каждого типа вычислений нужен проверенный плагин, при этом механизмы диспетчеризации, контроля ресурсов и публикации общие. Это позволяет расширять систему без изменения базовой инфраструктуры.
