PANDA: доказательства с нулевым разглашением для нейросетей достигли миллиона параметров
Применение машинного обучения в критических областях требует формальных гарантий устойчивости и беспристрастности моделей. Однако параметры моделей часто являются коммерческой тайной, что затрудняет их аудит сторонними специалистами или надзорными органами.
Для решения этой задачи группа исследователей представила систему PANDA. Она построена на базе фреймворка CROWN, который широко используется в современных инструментах формальной верификации нейросетей. PANDA позволяет доказывать свойства модели без раскрытия её внутреннего устройства.
Ключевая инновация PANDA — новый алгоритм доказательства линейных релаксационных границ для нелинейных слоёв активации. Благодаря этому удалось получить простые и лёгкие для проверки доказательства, что ранее считалось сложной вычислительной задачей.
В ходе экспериментов система сгенерировала доказательства локальной робастности для нейросетей с более чем 2,9 миллионами параметров за пять минут, а проверка заняла десять секунд. Это стало возможным благодаря полиномиальной сложности алгоритма относительно числа нейронов.
Предыдущие системы на доказательствах с нулевым разглашением использовали экспоненциальные алгоритмы, поэтому не могли масштабироваться даже на небольшие сети. PANDA поддерживает сети на четыре порядка больше, при этом существенно снижая вычислительные затраты на стороне доказывающего.
Разработка открывает путь к практическому аудиту коммерческих моделей в условиях сохранения конфиденциальности. Это важно для соблюдения регуляторных требований и повышения доверия к системам искусственного интеллекта в таких отраслях, как медицина, финансы и автономный транспорт.
