Нейросеть с 13 тыс. параметров научилась распознавать эмоции по прикосновениям к мягким игрушкам
Исследователи представили лёгкую одномерную свёрточную нейросеть (1D CNN) для классификации аффективных прикосновений к мягким интерактивным игрушкам. Работа опубликована в архиве препринтов arXiv и описывает полный цикл разработки: от сбора данных до внедрения на встроенном устройстве.
Для обучения модели авторы собрали новый датасет, включающий 1326 размеченных жестовых последовательностей от 25 участников разного возраста — детей, подростков и взрослых. Все данные собраны в соответствии с принципами FAIR и доступны для дальнейших исследований.
В ходе экспериментов было протестировано 468 различных архитектур. Лучший результат показала компактная модель с 13,2 тыс. параметров: её тестовая точность составила 75%, а при кросс-валидации с разделением по участникам — 85%.
Особенность разработки — способность работать в реальном времени на микроконтроллере. При квантованной реализации требуется всего 3,2 MMAC на одно окно данных, что позволяет обрабатывать поток с частотой 20 Гц. Это подтверждено моделированием в реальном времени с физической игрушкой, передающей данные с сенсоров.
Сравнение с предыдущей эвристической системой показало, что новая нейросеть лучше распознаёт тонкие социальные прикосновения, в то время как грубые негативные взаимодействия надежнее детектируются простым пороговым методом. Поэтому авторы предлагают гибридный пайплайн: сначала мгновенная эвристическая фильтрация, затем классификация нюансных жестов с помощью CNN.
Разработка демонстрирует, что эмоционально значимая и конфиденциальная интерпретация прикосновений вычислительно достижима для прямого встраивания в мягкие терапевтические компаньоны. Интеграция с аппаратной частью будет описана в отдельной публикации.
