Обрезка нейросетей методом Марченко-Пастура ускоряет ViT-B/16 в 2,7 раза без потери точности
Группа учёных представила в препринте arXiv новый подход к обрезке глубоких нейронных сетей, основанный на случайных матрицах и распределении Марченко-Пастура (MP). Метод позволяет существенно сократить вычислительные затраты без длительного дообучения — достаточно короткого калибровочного цикла.
Теоретическая база работы даёт детерминированные гарантии: если удалённый компонент R мал по показателю лог-эффекта, то обрезка уменьшает elastic-net-функцию потерь и сохраняет образцы, запас которых превышает удвоенное возмущение. В пределе нулевого бюджета достигается идеальная обрезка.
Практические результаты получены на ImageNet-1k. Для ViT-B/16 с разреженностью 2:4 и ToMe после всего трёх эпох дистилляции топ-1 точность составила 83,41% (всего на 1,70 п.п. ниже плотной модели) при сокращении MAC на 59,81%. На A40 зафиксирован прирост скорости в 1,388?, а на A100 — 2,705?. Для структурированной разреженности ViT-B/16 6:12 достиг 83,74%, ViT-L/16 8:16 — 85,33%, ConvNeXtV2-Base 12:16 — 86,35%.
Среди свёрточных сетей ResNet50 8:16 показал 75,87% (на 0,26 п.п. ниже плотной), а ResNet152d с CAST-conv — 81,33% при сокращении MAC около 50% и ускорении 1,62? на A40. Подход также включает модели с восстановлением весов и L2-регуляризацией.
Авторы отмечают, что при достаточных условиях (iid-гауссовы веса) рассчитанная граница MP-спектра ?+ даёт высоконадёжный сигнал бюджета для каждого слоя. Это открывает путь к автоматическому подбору степени разреженности без перебора.
