Исследование: минимальное усложнение делает сертификацию нейросетей экспоненциально сложной

Исследователи представили на arXiv новую работу, посвященную сертификации нейросетей. Сертификация — это поиск минимального набора размеченных примеров, который гарантирует, что обученная модель совпадает с целевой функцией. Это критически важно для задач, где требуется высокая точность, например, алгоритмические рассуждения.

Авторы показали, что даже минимальное усложнение модели (overparametrization) может сделать сертификацию экспоненциально трудной. Для пороговых схем глубиной 2 и более добавление всего одного дополнительного вентиля заставляет размер сертификата расти экспоненциально с размерностью входа. Аналогичный результат получен для трансформеров с логарифмической точностью при постоянном архитектурном оверхэде.

Также исследователи рассмотрели приближенную сертификацию. Оказалось, что даже если допустить полиномиальное число ошибок, сертификаты всё равно требуют экспоненциального размера. А гарантии с постоянной относительной ошибкой могут скрывать экспоненциально много ошибок.

Экспериментальная часть включала сконструированные пороговые схемы и обученные трансформеры для задачи двоичного сложения. Сконструированные схемы подтвердили теоретический экспоненциальный барьер. Трансформеры, показавшие неидеальное качество, смогли избежать обнаружения при равномерной выборке кандидатов — их ошибки не выявлялись даже большими наборами сертификатов.

Результаты подчёркивают фундаментальные трудности сертификации нейросетей даже при минимальном усложнении архитектуры. Это важно для разработки надёжных систем ИИ, особенно в области алгоритмических рассуждений.

Работа доступна на arXiv под номером 2605.22964.