LiST: новый метод обучения нейросетей с гарантированной калибровкой и робастностью
Исследователи из научного сообщества предложили новый подход к обучению нейронных сетей, получивший название LiST (Lipschitz Scaling Training). Метод решает ключевую проблему: как одновременно добиться высокой точности, устойчивости к возмущениям (робастности) и правильной калибровки предсказаний. Ранее эти три свойства изучались в основном по отдельности.
Модели, ограниченные по липшицевости, гарантируют робастность, но требуют ручного выбора константы L, что влечёт компромисс между точностью и устойчивостью. Кроме того, их калибровочные свойства оставались малоизученными. Авторы работы показали теоретическую и эмпирическую связь между накладываемым ограничением липшицевости и методом калибровки Temperature Scaling.
Оказалось, что для заданной схемы обучения существует нетривиальное значение L*, при котором сеть оказывается калиброванной без дополнительных процедур. Калибровка выступает в роли принципиального критерия для выбора рабочей точки на границе Парето между точностью и робастностью.
На основе этих идей был разработан LiST — новый подход, который итеративно подстраивает глобальную константу Липшица для достижения этой рабочей точки. С помощью параметра отступа в функции потерь метод позволяет построить полностью калиброванную границу Парето, что даёт пользователям возможность управлять компромиссом точности и робастности, оставаясь калиброванным на всём диапазоне.
При сходимости LiST также позволяет повторно включить калибровочные данные в процесс обучения, повышая эффективность использования выборки без потери калибровки. Метод был протестирован на наборах данных CIFAR-10, CIFAR-100 и Tiny-ImageNet.
Результаты показали конкурентоспособную точность и робастность по сравнению с обычными и липшицево-ограниченными бейзлайнами, при этом сеть оставалась калиброванной «из коробки». Код реализации доступен на GitHub.
Новый метод представляет собой шаг к созданию более надёжных и предсказуемых нейронных сетей, что особенно важно для приложений в критических областях, где требуется уверенность в оценках модели.
