ARGO: платформа умных очков с ИИ на борту без обращения в облако
Разработчики из международного исследовательского коллектива представили платформу ARGO — умные очки, способные выполнять машинное обучение непосредственно на устройстве. Платформа построена на микроконтроллере STM32N6 со встроенным нейропроцессорным блоком (NPU), что позволяет обрабатывать данные без отправки в облако. Это минимизирует задержки и сохраняет приватность пользователя.
Ключевая особенность ARGO — специализированная архитектура нейросети. Для распознавания препятствий в реальном времени используется оптимизированная модель YOLOv11. Исследователи внедрили механизм Head-wise Parallel Attention (HPA), который адаптирует вычисления под возможности NPU, не изменяя исходную логику распознавания.
Модель обучена на датасете Walking On The Road (WOTR), который содержит сцены городской среды. В финальной конфигурации модель демонстрирует среднюю точность mAP50-95 на уровне 24 при жёстких ограничениях по памяти. При этом занимаемый объём памяти составляет всего 2,483 МБ.
Платформа оснащена мультимодальным набором датчиков: RGB-камеры, Time-of-Flight сенсоры, микрофоны и датчики окружения. Это позволяет очкам получать богатую информацию о среде. Частота обработки достигает 10 кадров в секунду, а автономная работа от аккумулятора ёмкостью 200 мА·ч длится около 113 минут.
Разработчики подчёркивают, что ARGO сочетает эргономичный дизайн, высокую вычислительную производительность и энергоэффективность. Устройство позиционируется как ассистивное средство для людей с ограниченными возможностями зрения, которое может работать полностью автономно и безопасно с точки зрения конфиденциальности.
Результаты демонстрируют, что эффективные решения в области edge AI требуют тесного междисциплинарного взаимодействия при проектировании аппаратного и программного обеспечения. Исследование опубликовано на платформе arXiv и доступно для ознакомления.
