Предложена модульная архитектура для встраиваемых ИИ-агентов на граничных устройствах

Разработчики опубликовали на arXiv описание модульной архитектуры для встраиваемых агентных систем, предназначенной для работы на периферийных устройствах. Предложенное решение призвано преодолеть ограничения по памяти и энергии, которые мешают развертыванию агентного ИИ на микроконтроллерах.

Как отмечается в работе, существующие фреймворки обычно предполагают серверные ресурсы или постоянное соединение, что неприемлемо для глубоко встроенных систем. Новая архитектура вводит уровневый дизайн, разделяющий агенты на On-Device (на устройстве) и Cloud-Augmented (с облачным усилением).

Локальные агенты выполняют сильно сжатые нейросети и правила для задач с низкой задержкой и конфиденциальностью. Облачные агенты задействуют малые языковые модели (SLM) для более высокоуровневых рассуждений и планирования.

Ключевой элемент — сквозной слой управления (Governance Layer), обеспечивающий наблюдаемость, контроль политик и безопасность на распределенном флоте автономных устройств. Авторы не приводят эмпирические бенчмарки, а анализируют принципы проектирования и компромиссы по задержке, энергии и надежности.

Решение открывает путь к автономным ИИ-агентам на устройствах с жесткими ограничениями ресурсов — от бытовой электроники до промышленных датчиков, сохраняя возможность взаимодействия с облаком для более сложных задач.