Новый метод AMSGA повышает точность нейросетей Forward-Forward на 1,5%
Группа исследователей опубликовала статью, в которой предложила новый алгоритм Adaptive Multi-Scale Goodness Aggregation (AMSGA) — расширение метода Forward-Forward (FF) для обучения нейросетей. FF отличается биологической правдоподобностью и низким потреблением памяти, однако страдает от нестабильности и ограниченной обобщающей способности. AMSGA призван устранить эти недостатки.
В основе AMSGA лежит многомасштабная агрегация показателей «goodness» — локальных, промежуточных и глобальных представлений. Также введены адаптивный подбор сложных примеров с помощью curriculum learning, пороговые значения, зависящие от слоя, и косинусный график скорости обучения с разогревом. Все эти изменения сохраняют ключевые преимущества FF, но значительно повышают его эффективность.
Эксперименты проводились на наборах данных MNIST и Fashion-MNIST. Результаты показали, что AMSGA превосходит базовый FF алгоритм на 1,45% и 1,50% соответственно, при этом не требуя существенных вычислительных затрат. Это демонстрирует, что методы локального обучения могут стать гораздо более конкурентоспособными при тщательной проработке оценки goodness и динамики обучения.
Алгоритм AMSGA предлагает простой, но эффективный способ улучшить стабильность и обобщение в нейросетях, обучаемых по принципу Forward-Forward. Исследователи подчеркивают, что дальнейшие работы могут быть направлены на применение метода к более сложным архитектурам и задачам, таким как обработка изображений высокого разрешения или работа с последовательностями.
Публикация доступна в архиве препринтов arXiv (ID: 2605.18804) и привлекла внимание специалистов в области локального обучения и биологически правдоподобных нейросетей.
