Нейронные slack-переменные решают проблему соблюдения ограничений формы в ИИ
Группа исследователей опубликовала в arXiv препринт, посвящённый новому методу обеспечения функциональных ограничений в нейронных сетях — нейронным slack-переменным. Работа решает давнюю проблему: как гарантировать монотонность, выпуклость и другие формы ограничений без потери качества обучения.
Традиционные подходы — штрафные функции и методы двойственной задачи с дополнительной нежёсткостью — обеспечивают градиенты ограничений только в точках нарушения. Это приводит к хрупкому выполнению условий. Архитектуры, гарантирующие выполнение по построению, ограничены простыми случаями и вносят нежелательные индуктивные смещения.
Авторы предлагают принципиально иной путь: нейронные slack-переменные. Основная сеть обучается совместно с вспомогательной, которая служит корректной целью для величин ограничений. Так выполнение ограничений превращается в задачу регрессии, а не оптимизации с ограничениями.
Эксперименты показали, что новый метод достигает нулевых измеренных нарушений на тестах монотонности и выпуклости на плотных сетках. Для сравнения, штрафные и двойственные методы оставляют остаточные нарушения. Практическая значимость продемонстрирована на задаче обучения без арбитража поверхностей волатильности — это открытая инженерная проблема в количественных финансах.
По словам авторов, нейронные slack-переменные могут быть применены в любых промышленных и научных областях, где требуется гарантированное соблюдение неравенств — от физического моделирования до экономических расчётов. Метод не требует специальной архитектуры основной сети и легко интегрируется в существующие фреймворки глубокого обучения.
Статья доступна в открытом доступе на arXiv под номером 2606.13803.
