Новый метод ADNTN сжимает нейросети до 77000 раз без потери точности

Группа исследователей опубликовала в arXiv статью, посвящённую Automatically Differentiable Nonlinear Tensor Networks (ADNTNs) — новому подходу к сжатию глубоких нейронных сетей. Метод позволяет заменять большие весовые матрицы компактными тензорными ядрами, обучаемыми сквозным образом с помощью автоматического дифференцирования.

ADNTN можно рассматривать как расширение низкоранговой адаптации (LoRA) и тензорной факторизации. Вместо одного низкорангового обновления используется иерархия небольших ядер, нелинейных активаций и опциональных перемешивающих тензоров. В работе рассмотрены три архитектуры: Tree Tensor Networks (TTN), усиленные TTN с граничными распутывателями (aTTN) и Multi-scale Entanglement Renormalisation Ansatze (MERA).

Особенность ADNTN в том, что нелинейности и целевые функции учитываются явно, а схемы выполнения адаптируются под оборудование. Однако авторы подчёркивают, что автоматическое дифференцирование не устраняет затрат на большие промежуточные данные или неоптимальные порядки свёрток — эффективность требует совместной оптимизации обучения, контракции и ядер развёртывания.

Эксперименты проводились на свёрточных слоях AlexNet и VGG-16. В изученных конфигурациях достигнуто сжатие от 2000 до 77000 раз на слой. Точность при этом в большинстве случаев соответствовала исходной плотной модели, а для нескольких слоёв VGG-16 даже превзошла её. Авторы называют результаты обнадёживающими, но не окончательными.

Разработка может стать шагом к созданию значительно меньших нейросетей, пригодных для развёртывания на ограниченном оборудовании, при условии дальнейшей проработки оптимизации, расписаний контракции и программных ядер.