AgentJet: новый фреймворк для децентрализованного обучения ИИ-агентов
Научные сотрудники опубликовали в архиве препринтов arXiv описание нового фреймворка AgentJet, предназначенного для распределённого обучения агентов на основе больших языковых моделей (LLM) с использованием метода подкрепления. В отличие от централизованных систем, AgentJet предлагает децентрализованную архитектуру, разделяющую серверные узлы (swarm server) и клиентские узлы (swarm client).
Серверные узлы отвечают за хранение обучаемых моделей и проведение оптимизации на GPU-кластерах, тогда как клиентские узлы выполняют произвольные агенты на любых устройствах. Такое разделение открывает несколько возможностей, сложно реализуемых в централизованных фреймворках.
В первую очередь, это гетерогенное многомодельное обучение с подкреплением, позволяющее тренировать разнородные команды агентов, где каждый использует свою LLM в качестве «мозга». Также поддерживается многозадачное коктейльное обучение с изолированными средами выполнения агентов.
Фреймворк обеспечивает отказоустойчивость: внешние сбои среды не прерывают процесс обучения. Кроме того, реализована возможность редактирования агентов «на лету» путём замены клиентских узлов без остановки тренировки.
Для повышения эффективности обучения в многомодельных, многошаговых и многоагентных сценариях AgentJet включает модуль отслеживания контекста с функцией слияния временных линий. Это позволяет консолидировать избыточный контекст и ускорить обучение в 1,5–10 раз.
Ещё одна особенность — автоматизированная исследовательская система, которая принимает тему исследования на вход и самостоятельно проводит длительные, многодневные RL-эксперименты на крупных кластерах. Благодаря роевой архитектуре эта система воспроизводит ключевые исследовательские рабочие процессы без участия человека на этапе выполнения.
Публикация на arXiv пока не прошла рецензирование, но демонстрирует потенциально важный шаг в развитии методов обучения агентов на основе LLM.
