Ученые создали локального голосового ассистента AnovaX — он управляет приложениями и не отправляет аудио в облако

Группа исследователей опубликовала описание AnovaX — локального голосового ассистента, который работает полностью на компьютере пользователя и не отправляет аудиоданные в облачные сервисы. Проект представлен в виде препринта на arXiv и демонстрирует альтернативу облачным помощникам вроде Siri или Alexa.

AnovaX построен на одном Python-процессе, который объединяет несколько компонентов: модуль распознавания активационной фразы, конвейер обработки речи, планировщик на основе LLM (Gemini), слой безопасности с белыми и чёрными списками, мультиагентный оркестратор и цикл адаптивного восстановления. Планировщик генерирует JSON-план вызова инструментов, который затем распределяется между специализированными агентами.

Каждый инструмент соответствует отдельному классу агента: AppAgent (работа с приложениями), TypingAgent (ввод текста), BrowserAgent (управление браузером) и ещё шесть других. У каждого агента собственные тайм-ауты, политики повторных попыток и блокировки общих ресурсов. Для многоуровневых задач предусмотрен рекурсивный MetaAgent, который может делегировать подзадачу самому себе — но не более двух уровней вложенности.

Цикл восстановления использует компактный ReAct-подобный промпт и скрывает задержки Gemini за счёт спекулятивного выполнения инструментов только для чтения. Если какой-то шаг плана завершается с ошибкой, система автоматически пытается исправить ситуацию без вмешательства пользователя.

Для удалённого управления к AnovaX прилагается Flask-сервер, который предоставляет интерфейс, оптимизированный для телефона, по локальному Wi-Fi. Сервер в реальном времени транслирует события жизненного цикла агентов на телефон и передаёт изображение экрана ноутбука в формате MJPEG, чтобы пользователь мог наблюдать за выполнением команд.

Авторы подчёркивают, что проект не ставит целью конкуренцию с крупными облачными ассистентами. AnovaX — это демонстрация того, что компактная система объёмом в несколько тысяч строк кода способна открывать приложения, вводить текст, выполнять поиск, координировать одновременные действия, восстанавливаться после единичных сбоев и полностью управляться с телефона из другой комнаты — при этом LLM ни разу не касается клавиатуры.