Метод B-spline decoupling сжимает трансформеры без потери точности

Исследователи предложили новый подход к сжатию нейросетей — декомпозицию на основе B-сплайнов. Разработанный алгоритм R-CMTF-BSD позволяет сократить число параметров трансформеров, не жертвуя качеством предсказаний.

Декомпозиция — это представление сложных функций через комбинацию линейных преобразований и одномерных нелинейных функций. Однослойная декомпозиция эквивалентна полносвязной нейросети с одним скрытым слоем и гибкими функциями активации, что делает её удобной для сжатия.

Существующие тензорные методы декомпозиции часто используют полиномиальные или кусочно-линейные параметризации, что приводит к численной нестабильности или ограниченной выразительности. B-сплайны, напротив, обеспечивают локальную поддержку и гибкий контроль гладкости, создавая более стабильное и выразительное представление.

Авторы вывели связанную матрично-тензорную факторизацию с ограничениями и предложили робастный алгоритм попеременных наименьших квадратов R-CMTF-BSD. Он включает нормировку и регуляризацию Тихонова для повышения устойчивости.

Эксперименты на синтетических данных и сжатии трансформеров показали эффективность метода. На архитектурах Vision Transformer и Swin Transformer B-сплайновая декомпозиция обеспечила существенное сокращение числа параметров при сохранении конкурентоспособной точности.

Результаты указывают, что R-CMTF-BSD может стать перспективным инструментом для структурированного сжатия нейросетей, особенно актуального в условиях ограниченных вычислительных ресурсов.

Работа представлена на arXiv (идентификатор 2605.18794).