MetaNCA: нейросети обучаются без backprop и работают на невиданных архитектурах
Группа исследователей опубликовала на arXiv препринт, в котором описывается новый подход к обучению нейросетей — Meta Neural Cellular Automata (MetaNCA). В отличие от традиционного метода обратного распространения ошибки, MetaNCA использует локальные правила для самоорганизации весов, что приближает процесс обучения к естественным биологическим механизмам.
Основой фреймворка стала идея нейронных клеточных автоматов, где каждый элемент сети взаимодействует только с соседними. Исследователи обучили специальную сеть правил — Weight Transformer, которая с помощью линейного внимания агрегирует сигналы от соседних весов и скрытых состояний. Эта сеть правил затем итеративно обновляет параметры целевой нейросети без необходимости градиентного спуска.
В экспериментах MetaNCA успешно сгенерировал веса для полносвязных сетей (MLP), сверточных (CNN) и ResNet на датасетах MNIST и CIFAR-100. Максимальный размер сгенерированной сети достиг 2 миллионов параметров. Важно, что метод не требует повторного обучения для каждой новой архитектуры — обученная однажды сеть правил способна генерировать веса для архитектур, которые не встречались во время мета-обучения.
Авторы отмечают, что разнообразие архитектур во время тренировки усиливает способность к обобщению. Это открывает перспективы для автоматического поиска и генерации нейросетей, снижая вычислительные затраты на обучение с нуля. Пока метод протестирован на относительно небольших датасетах и моделях, но потенциал для масштабирования значителен.
Работа выложена в открытый доступ и доступна для ознакомления на arXiv. Исследователи планируют дальнейшее развитие подхода, включая работу с более крупными сетями и задачами за пределами классификации изображений.
