Новый метод сжатия нейросетей сокращает параметры на 83% с минимальной потерей точности
Исследователи из США представили новый подход к сжатию глубоких нейронных сетей, основанный на концепциях управляемости и наблюдаемости из теории динамических систем. В работе, опубликованной на arXiv, авторы рассматривают обученную сеть как нелинейную динамическую систему с индексами по глубине и анализируют скрытые состояния каждого слоя.
Метод включает построение управляющих, наблюдающих и сбалансированных грамианов на основе срезов скрытых состояний и якобианов выходов. С их помощью вычисляются ранги управляемости, наблюдаемости и совместной управляемости-наблюдаемости для каждого слоя. Эти ранги затем используются не только для диагностики избыточности, но и как новая ширина слоёв в сжатой архитектуре.
Эксперименты проводились на датасетах MNIST и CIFAR-10. Для MNIST четырёхслойная сеть с функцией активации SiLU была сжата с размера скрытого состояния 1024 до 277, что дало 72,95% сжатия состояния и 73,48% сжатия параметров. Точность при этом снизилась незначительно — с 96,60% до 95,45%.
На CIFAR-10 более крупная сеть с размером состояния 4608 была уменьшена до 1339, обеспечив 70,94% сжатия состояния и 83,09% сжатия параметров. Точность практически не изменилась: 54,45% у полной модели против 54,44% у сжатой. Кроме того, задержка инференса на GPU CUDA сократилась примерно в три раза.
Авторы сравнили свой метод с проекционным сокращением, неструктурированным и структурированным прореживанием, низкоранговым SVD, динамической INT8-квантизацией и линейными базовыми линиями. Во всех тестах предложенный подход показал конкурентоспособные результаты, а в ряде случаев превзошёл альтернативы.
Разработчики подчёркивают, что сбалансированные ранги управляемости-наблюдаемости дают принципиальный критерий минимальной реализации для проектирования компактных нейросетевых архитектур с минимальной потерей точности. Работа может быть полезна для развёртывания нейросетей на устройствах с ограниченными ресурсами.
