Syll: открытый ИИ-агент для автоматизации через API, CLI и GUI

Научная группа опубликовала на arXiv препринт, в котором описана система Syll — открытый мультимодальный агентный хаб для персональной автоматизации. Разработка решает проблему совместимости: современные ИИ-агенты часто заточены под один интерфейс, тогда как Syll способен работать одновременно через API/MCP-инструменты, командную строку и визуальный контроль GUI. Это позволяет координировать действия на разнородных поверхностях — от веб-страниц до десктопных приложений.

Ключевая особенность Syll — двунаправленный слой взаимодействия между пользователем и агентом. Человек может обучить систему новому действию, просто показав его на экране, после чего агент компилирует демонстрацию в многократно используемый навык. В обратную сторону исполнение транслируется в мультимодальные свидетельства: логи, ключевые кадры и точки подтверждения, доступные для проверки и контроля.

Память, навыки, рутины и правила управления в Syll вынесены в редактируемые локальные артефакты. Это упрощает инспекцию, расширение и создание дополнительных компонентов. Система спроектирована как самодостаточная: пользователь может разместить её на своём оборудовании, обеспечив полный контроль над данными.

Работоспособность Syll подтверждена на реальных десктопных приложениях: Adobe Photoshop, Adobe Audition, macOS Finder, а также в популярной игре Stardew Valley. Механизмные исследования показали эффективность мультимодальной маршрутизации, обучаемого воспроизведения GUI и хранения постоянных локальных артефактов.

По мнению авторов, Syll может стать практической открытой основой для персональной автоматизации, которую пользователи способны обучать, проверять и непрерывно расширять. Система распространяется с открытым исходным кодом, что позволяет сообществу адаптировать её под свои задачи.