Нейросети распознают аутизм по видео с точностью 98,75%
Расстройства аутистического спектра (РАС) затрагивают более 75 миллионов человек в мире, однако масштабируемые методы удаленного скрининга остаются ограниченными. Новое исследование, опубликованное на arXiv, посвящено автоматическому выявлению самостимулирующего поведения (стереотипий) по видеозаписям. Авторы оценили влияние частоты кадров и архитектуры нейросетей на точность классификации.
В работе использовались данные из набора Self-Stimulatory Behavior Diagnosis (SSBD). На основе извлеченных из видео позных признаков обучались две рекуррентные архитектуры: LSTM и GRU. Модели тестировались при различных интервалах выборки кадров: 1, 5, 15, 30, 45 и 90 кадров. Обе архитектуры значительно превзошли предыдущие сверточные нейросети (точность 62–76%).
Лучший результат показала GRU-модель с интервалом в 15 кадров — точность 98,75%. LSTM при том же интервале достигла 97,5%. Это указывает, что умеренное прореживание кадров (1 кадр каждые 15) является оптимальным для баланса между временной информацией и вычислительной нагрузкой.
Второй задачей стало исследование стратегий аугментации данных при обучении на малых выборках. В рамках pipeline с I3D (inflated 3D ConvNet) использовались десять методов аугментации. Абляционное исследование показало, что горизонтальное отражение дало наивысшую самостоятельную точность (48,78%), а исключение upsampling (увеличения частоты кадров) привело к наибольшему падению качества. Это подтверждает необходимость повышающей дискретизации для сложных поведенческих видео.
Также реализован персонализированный подход машинного обучения: для каждого испытуемого строилась индивидуальная модель на временных отрезках видео. Средняя ошибка предсказаний составила 1,84 (SD 0,79), что говорит о стабильности метода.
Полученные результаты дают практические рекомендации по выбору архитектуры, частоты кадров и тактик аугментации для видеоанализа поведения в клинических областях с дефицитом данных. Разработка может быть использована для удаленного мониторинга и ранней диагностики РАС.
