Новый метод FMR снижает расхождение ИИ-агентов с человеческими ценностями на 98%

Исследователи представили новый метод Feedback Manipulation Regularization (FMR), направленный на улучшение согласования поведения ИИ-агентов с человеческими ценностями. Работа опубликована на arXiv и предлагает подход, который объединяет демонстрации и оценочную обратную связь в едином процессе обучения.

Традиционные методы выравнивания (alignment) часто используют многоэтапные конвейеры, адаптированные для генерации текста. Однако в более сложных средах последовательного принятия решений такие подходы менее эффективны. FMR решает эту проблему, внося коррективы непосредственно в политику имитационного обучения.

Метод не зависит от конкретного алгоритма и может быть интегрирован в различные модели обучения с подкреплением. Тестирование проводилось в модифицированных средах Safety Gymnasium, специально адаптированных для оценки безопасности и согласованности действий агентов.

Результаты экспериментов показали, что FMR позволяет снизить количество несоответствий (misalignment) в поведении агентов на величину до 98% по сравнению с базовыми алгоритмами имитации. При этом метод сохраняет устойчивость даже при дефиците данных, включая ситуации с редкими или зашумленными примерами.

По мнению авторов, FMR может стать важным инструментом для создания более безопасных и предсказуемых ИИ-систем, особенно в таких областях, как робототехника, беспилотные автомобили и автономные ассистенты.

Дальнейшие исследования могут быть направлены на проверку метода в реальных сценариях и его интеграцию в существующие фреймворки обучения с подкреплением.