Ghost Attractor Networks: новый декодер для ИИ с улучшением в 462 раза по числу параметров

Исследователи из зарубежного университета опубликовали в arXiv описание Ghost Attractor Networks (сеть-аттрактор с призрачными состояниями) — динамического декодера для генерации последовательных выходных данных. Разработка решает проблему огромных затрат памяти и времени при использовании больших Transformer и диффузионных моделей.

Суть метода заключается в замене громоздких декодеров на компактную нейросеть прямого распространения, которая, однако, сохраняет структурированное латентное пространство благодаря встроенным аттракторам — стабильным точкам притяжения. Это позволяет эффективно выполнять управление роботами в замкнутом контуре, где требуется фазовая обусловленность и перенос скрытого состояния между шагами.

В ходе экспериментов Ghost с 2,3 миллионами параметров достиг той же точности, что и диффузионный трансформер с 1,07 миллиарда параметров. Превосходство составило 462 раза по числу параметров и 32 раза по задержке вывода. По сравнению с альтернативными компактными декодерами (MLP, нейронные ОДУ, CVAE, Transformer, одношаговая диффузия) Ghost снизил среднеквадратичную ошибку на 5,9–29%.

На эталонном бенчмарке LIBERO-10, предназначенном для оценки роботизированных манипуляций, применение фазового управления на основе структурированного латентного пространства Ghost повысило успешность выполнения задач на 13,5 процентных пункта по сравнению с базовым MLP-декодером. Ансамблирование с сохранением латентного состояния позволило достичь финального показателя успеха 95,7%.

Метод также демонстрирует теоретическую обоснованность: авторы показали, что эволюция латентного состояния подчиняется градиентному потоку с контракцией, причём норма градиента уменьшается на 67% за пять шагов интегрирования. Это подтверждает формирование предсказанной структуры бассейнов притяжения.

Разработка открывает путь к созданию эффективных декодеров для робототехники и других задач поточной генерации, где критичны низкая задержка и малый объём памяти. Ghost может быть интегрирован в существующие системы поведенческого клонирования и контрастивного обучения.