Ученые доказали линейную границу max-information для DP-SGD
Понимание связи между обобщением и приватностью остается одной из центральных проблем в теории машинного обучения, особенно для глубоких сетей, обучаемых с помощью дифференциально приватного стохастического градиентного спуска (DP-SGD). В новой работе, опубликованной на arXiv, исследователи сделали шаг к решению этой задачи.
Авторы доказали конечную границу приближенной max-information для алгоритма DP-SGD. Этот показатель характеризует, сколько информации о тренировочных данных сохраняется в модели. Полученная граница масштабируется линейно с размером набора данных, что сопоставимо с классическим результатом Дворка и соавторов для ?-дифференциально приватных алгоритмов.
Результат позволяет вывести общую границу обобщения в стиле PAC-Bayes, где априорное распределение может быть изучено самим DP-SGD. Кроме того, получена явная граница обобщения для моделей, обученных с помощью DP-SGD, которая полностью контролируется гиперпараметрами оптимизации.
Практическая значимость работы в том, что она дает теоретическое обоснование того, как DP-SGD балансирует между приватностью и способностью модели обобщать на новые данные. Это важно для приложений, где требуется защита конфиденциальности, например, в медицине или финансах.
Исследование подтверждает, что даже при сильных гарантиях приватности DP-SGD может обеспечивать хорошее обобщение, если правильно настроены гиперпараметры. Работа доступна в виде препринта на arXiv.
