Как нейросети обучаются абстракции: arXiv-препринт описывает точную динамику

Группа учёных опубликовала на arXiv препринт, в котором подробно описывается динамика формирования линейных представлений (abstraction) в искусственных нейронных сетях. Работа закрывает пробел в понимании того, как абстрактные концепции появляются в процессе обучения, а не только после него.

В основе исследования лежит линейная модель нейросети, для которой авторы смогли получить точные аналитические решения траектории абстракции. Эти решения демонстрируют три ключевых принципа: совместное влияние структуры данных и целевых меток на итоговую абстракцию, улучшение абстракции с глубиной сети и зависимость максимальной абстракции от масштаба инициализации весов.

Далее авторы обобщили теорию на нелинейные сети, сравнив эффекты от функций активации erf и ReLU. Оказалось, что erf-сети хорошо аппроксимируют линейную динамику, тогда как ReLU-сети больше зависят от геометрии входных данных, а не целевых меток. Для обоих типов активаций доказан так называемый закон ослабления: нелинейность уменьшает степень абстракции в активациях по сравнению с преактивациями.

Справедливость этого закона подтверждена на открытых моделях, таких как DINOv3 и Gemma 4. Кроме того, авторы применили свою теорию для улучшения обобщающей способности линейных проб в больших языковых моделях (LLM).

Работа имеет прямое значение для интерпретируемости нейросетей и методов управления их поведением, включая активационное управление и детекцию концепций. Точные решения и доказанный закон ослабления позволяют более осознанно подходить к обучению и вмешательству в представления моделей.

Препринт доступен на arXiv по идентификатору 2607.08843.