Унифицированный фреймворк для градиентной агрегации в многокритериальной оптимизации
На сервере препринтов arXiv опубликована работа, в которой предлагается единый математический фреймворк для агрегации градиентов в задачах многокритериальной оптимизации (MOO). Авторы формулируют общие условия, при которых методы MOO гарантированно сходятся к Парето-оптимальным решениям.
Многие задачи машинного обучения (МО) содержат несколько противоречивых целей – например, точность и интерпретируемость, скорость и энергопотребление. Существующие алгоритмы MOO часто разрабатываются под конкретный случай и используют разные правила объединения градиентов. Предложенная работа унифицирует эти подходы.
Ключевой элемент анализа – условие достаточного выравнивания (sufficient alignment condition). Исследователи доказывают, что выбор неконфликтующих направлений из выпуклой оболочки градиентов является фундаментальным условием сходимости. Также показана возможность обеспечения выполнимости через проекцию на дуальный конус.
На основе своей теории авторы разработали новый метод – capped MGDA, основанный на формулировке условной стоимости под риском (CVaR). Этот алгоритм продемонстрировал устойчивость к атакам в задаче федеративного обучения, где злоумышленники пытаются нарушить обучение модели.
Эксперименты на синтетических данных и практических бенчмарках подтвердили теоретические результаты. Новый фреймворк позволяет как анализировать существующие методы MOO, так и проектировать новые с гарантированной сходимостью.
Разработка открывает путь к более эффективным и надёжным решениям в областях, где требуется баланс нескольких критериев – от рекомендательных систем до автономного вождения.
